大数据环境下朴素贝叶斯分类算法的改进与实现 被引量：13

1

作者 张春 郭明亮 《北京交通大学学报》 CAS CSCD 北大核心 2015年第2期35-41,共7页

朴素贝叶斯分类算法是一种简单并且高效的分类算法,但条件独立性假设在现实中很难满足,导致其性能有所下降.为了解决该问题,本文在关联规则和置信度的基础上对该分类算法进行了改进.通过挖掘出来的关联规则和该规则的置信度,对不同的属... 朴素贝叶斯分类算法是一种简单并且高效的分类算法,但条件独立性假设在现实中很难满足,导致其性能有所下降.为了解决该问题,本文在关联规则和置信度的基础上对该分类算法进行了改进.通过挖掘出来的关联规则和该规则的置信度,对不同的属性赋予不同的权重,同时实现了该分类算法的MapReduce化,从而在保持简单性的基础上有效地提高了朴素贝叶斯分类算法的分类性能.动车组运维实验表明:该算法提高了分类的准确率和效率. 展开更多

关键词 MAPREDUCE 朴素贝叶斯 分类算法 关联规则 置信度 动车组

下载PDF 职称材料

基于文本分类技术的垃圾邮件识别系统 被引量：10

2

作者 李国栋 李卫 《微电子学与计算机》 CSCD 北大核心 2004年第6期145-146,193,共3页

文章介绍了一个基于文本分类技术识别垃圾邮件系统的体系结构,并介绍了该系统涉及到的中文信息处理、文本特征选取、朴素贝叶斯分类器等关键技术。最后,文章给出了针对部分垃圾邮件的处理结果。结果表明,该方法对于垃圾邮件的识别,具有... 文章介绍了一个基于文本分类技术识别垃圾邮件系统的体系结构,并介绍了该系统涉及到的中文信息处理、文本特征选取、朴素贝叶斯分类器等关键技术。最后,文章给出了针对部分垃圾邮件的处理结果。结果表明,该方法对于垃圾邮件的识别,具有较好的效果。 展开更多

关键词 垃圾邮件 文本分类 汉语切词 朴素贝叶斯

下载PDF 职称材料

Hadoop下基于粗糙集与贝叶斯的气象数据挖掘研究 被引量：6

3

作者 张晨阳 马志强 +2 位作者 刘利民 常骏 李永利 《计算机应用与软件》 CSCD 2015年第4期72-76,90,共6页

随着气象信息化程度不断提高,气象部门积累了海量的气象数据,如何从海量的数据中获取有用的知识,成为人们关注的重点。气象数据具有维度高、依赖性强等特点,这就对气象数据挖掘提出了更高的要求。经典数据挖掘算法在处理海量气象数据时... 随着气象信息化程度不断提高,气象部门积累了海量的气象数据,如何从海量的数据中获取有用的知识,成为人们关注的重点。气象数据具有维度高、依赖性强等特点,这就对气象数据挖掘提出了更高的要求。经典数据挖掘算法在处理海量气象数据时在性能与准确率方面无法获得较好的结果。在分析了MapReduce计算模型与粗糙集、贝叶斯分类的基础上,给出了基于MapReduce的计算等价类的数据约简算法与朴素贝叶斯分类算法。最后在Hadoop平台上进行了相关实验。实验结果表明,该并行数据挖掘方案可以有效处理海量气象数据,并具有良好的扩展性。 展开更多

关键词 粗糙集 朴素贝叶斯 MAPREDUCE 气象数据

下载PDF 职称材料

基于客户消费习惯的贝叶斯网络的分类算法

4

作者 吕金锐 《软件》 2024年第4期104-106,共3页

面对大量用户的通信消费数据,如何对其进行挖掘从而获得有价值的信息,对客户进行分类,并制定不同的服务策略,是当前通信企业面临的一个普遍问题。本文介绍了几种常用的文本分类算法,通过分析用户的消费行为数据,选取了朴素贝叶斯分类预... 面对大量用户的通信消费数据,如何对其进行挖掘从而获得有价值的信息,对客户进行分类,并制定不同的服务策略,是当前通信企业面临的一个普遍问题。本文介绍了几种常用的文本分类算法,通过分析用户的消费行为数据,选取了朴素贝叶斯分类预测算法、贝叶斯网络分类预测算法和决策树分类预测算法对用户进行分类,实验结果表明贝叶斯网络分类预测算法对于用户通信消费数据具有较好的分类效果。 展开更多

关键词 文本分类 朴素贝叶斯 贝叶斯网络 决策树

下载PDF 职称材料

一种基于改进的朴素贝叶斯算法的Android钓鱼网站检测方案 被引量：4

5

作者 马刚 刘锋 朱二周 《计算机工程与科学》 CSCD 北大核心 2018年第8期1420-1428,共9页

随着移动互联网的快速发展,针对移动手机端的钓鱼攻击越来越普遍。提出一种基于改进的朴素贝叶斯算法的移动平台钓鱼网站检测方案。首先,针对在数据收集过程中会出现空缺值的问题,通过K-means算法对缺失的属性值进行填充,以获得完整的... 随着移动互联网的快速发展,针对移动手机端的钓鱼攻击越来越普遍。提出一种基于改进的朴素贝叶斯算法的移动平台钓鱼网站检测方案。首先,针对在数据收集过程中会出现空缺值的问题,通过K-means算法对缺失的属性值进行填充,以获得完整的数据集;其次,针对朴素贝叶斯算法计算概率时会出现过低估计的问题,将概率进行适当放大,以解决结果下溢的问题;第三,针对朴素贝叶斯算法容易忽略属性之间的关联性问题,对不同的属性值进行了加权处理,以提高检测的正确率;最后,根据实际情况中钓鱼网站出现概率较小的情况,通过调整钓鱼网站与可信网站的概率比值,以此来进一步提高检测的正确率。实验部署在Android 5.0操作系统上。实验结果表明,改进后的朴素贝叶斯算法能够在较短的时间内有效地检测出针对手机端的钓鱼攻击。 展开更多

关键词 ANDROID平台 网络钓鱼 朴素贝叶斯 移动安全

下载PDF 职称材料

基于朴素贝叶斯的社交网络消息文本分类算法的研究 被引量：2

6

作者 王军强 刘建平 《工业控制计算机》 2015年第9期36-37,共2页

随着社交网络的迅速发展,热点话题的提取是目前社交网络中的热门研究方向之一。传统的主题分析方法对消息文本进行热点话题挖掘,一方面识别不出热点话题的相关信息,会导致准确率比较低;另一方面文本太多,使得主题分析效率太低。针对这... 随着社交网络的迅速发展,热点话题的提取是目前社交网络中的热门研究方向之一。传统的主题分析方法对消息文本进行热点话题挖掘,一方面识别不出热点话题的相关信息,会导致准确率比较低;另一方面文本太多,使得主题分析效率太低。针对这些问题,在朴素贝叶斯分类算法的基础上,提出一种适合社交网络消息文本特点的分类算法,从而提高聚类的效果。最后,通过实验验证改进后算法的有效性。 展开更多

关键词 社交网络 热点话题 朴素贝叶斯 文本分类

下载PDF 职称材料

GPU平台上大规模文本分类的研究 被引量：2

7

作者 刘勇 王志亮 黄玉龙 《计算机工程与应用》 CSCD 2012年第8期141-143,206,共4页

为满足大规模文本快速分类的需求,在传统文本分类方案基础上,利用GPU强大的并行吞吐量,提出了一种大规模并行文本分类方案。为验证该方案的有效性,在多个平台上进行充分的实验分析。结果表明,该方案比传统的分类方案具有10倍以上的加速比。

关键词 图形处理器 统一计算设备架构 朴素贝叶斯 并行文本分类

下载PDF 职称材料

基于图像信息度量与关键词的邮件智能分类系统

8

作者 周冠玮 程娟 平西建 《计算机工程》 CAS CSCD 北大核心 2007年第15期199-201,共3页

如何利用邮件的正文与附件信息有效地实现其分类,是现在邮件处理领域一个重要的课题。该文从商业应用角度提出了一种基于图像信息度量与关键词的邮件智能过滤与分发方法,通过基于朴素贝叶斯分类器的邮件关键词信息处理,及附件图像信息... 如何利用邮件的正文与附件信息有效地实现其分类,是现在邮件处理领域一个重要的课题。该文从商业应用角度提出了一种基于图像信息度量与关键词的邮件智能过滤与分发方法,通过基于朴素贝叶斯分类器的邮件关键词信息处理,及附件图像信息的基于归一化PIM文本图像检测理论的分析,能够综合运用邮件正文、地址等文本信息与附件图像信息作为分类的评价参数,有效地实现了邮件的智能分类。 展开更多

关键词 多用途网际邮件扩充协议 BASE64 图像信息度量 朴素贝叶斯

下载PDF 职称材料

细粒度微博情绪识别的集成算法研究

9

作者 王红 《智能计算机与应用》 2015年第1期32-35,共4页

目前大部分微博情绪分析研究集中在粗粒度情绪的划分,但细粒度微博情绪更能反映公众对舆论热点、政策的反应。因此提出了一种结合朴素贝叶斯和K最近邻的集成算法,着重对新浪微博展开了情绪识别与分析的研究。首先采用朴素贝叶斯分类算... 目前大部分微博情绪分析研究集中在粗粒度情绪的划分,但细粒度微博情绪更能反映公众对舆论热点、政策的反应。因此提出了一种结合朴素贝叶斯和K最近邻的集成算法,着重对新浪微博展开了情绪识别与分析的研究。首先采用朴素贝叶斯分类算法将微博分为有无情绪两类。然后根据情绪本体库的分类规则,分别构建待预测微博和已标注微博的21维情绪向量。最后采用K最近邻算法,计算待预测情绪微博与已标注情绪微博的向量相似度,从而获取待预测微博的细粒度情绪。实验表明K最近邻算法的引入,在微博细粒度情绪识别的准确率上取得了较好的效果。 展开更多

关键词 情绪分析 细粒度 朴素贝叶斯 K最近邻 微博

下载PDF 职称材料

基于朴素贝叶斯的农业土地适宜性评价算法设计

10

作者 林国 《杭州师范大学学报（自然科学版）》 CAS 2010年第2期146-149,共4页

为提高农业土地资源的综合利用能力,特别是农作物的生产能力,文章以浙江省台州市农业空间地理数据为基础,提出了基于朴素贝叶斯统计推理的农业土地适宜性评价算法,为提高农业土地资源利用能力和农作物种植的科学性提供依据.

关键词 朴素贝叶斯 土地适宜性 空间地理数据 栅格数据集

下载PDF 职称材料

一种文本处理中的朴素贝叶斯分类器 被引量：76

11

作者 李静梅 孙丽华 +1 位作者 张巧荣 张春生 《哈尔滨工程大学学报》 EI CAS CSCD 2003年第1期71-74,共4页

首先在特征独立性假设的基础上,讨论了朴素贝叶斯分类器的原理,以及训练朴素贝叶斯分类器和应用朴素贝叶斯分类器进行分类的问题.然后,通过EM算法(期望值最大算法),自动增加训练量,以得到较为完备的训练文本库,扩展了朴素贝叶斯分类器... 首先在特征独立性假设的基础上,讨论了朴素贝叶斯分类器的原理,以及训练朴素贝叶斯分类器和应用朴素贝叶斯分类器进行分类的问题.然后,通过EM算法(期望值最大算法),自动增加训练量,以得到较为完备的训练文本库,扩展了朴素贝叶斯分类器的应用,提高了朴素贝叶斯分类器的分类精度.文章最后给出一组实验数据.本文的研究发现,朴素贝叶斯分类器分类精度较高,并且不存在单分类器与多分类器的实现差异,是一个比较实用的分类器. 展开更多

关键词 朴素贝叶斯分类器 特征独立 文本分类 文本处理

下载PDF 职称材料

基于粒子群优化的朴素贝叶斯改进算法 被引量：9

12

作者 邱宁佳 李娜 +2 位作者 胡小娟 王鹏 孙爽滋 《计算机工程》 CAS CSCD 北大核心 2018年第11期27-32,39,共7页

针对朴素贝叶斯(NB)算法因条件独立性的理想式假设引起分类性能降低的问题,提出一种改进的粒子群优化-朴素贝叶斯(PSO-NB)算法。在文本预处理时,引入权重因子、类内和类间离散因子进行属性约简,基于NB加权模型,将条件属性的词频比率作... 针对朴素贝叶斯(NB)算法因条件独立性的理想式假设引起分类性能降低的问题,提出一种改进的粒子群优化-朴素贝叶斯(PSO-NB)算法。在文本预处理时,引入权重因子、类内和类间离散因子进行属性约简,基于NB加权模型,将条件属性的词频比率作为其初始权值,利用PSO算法迭代寻找全局最优特征权向量,并以此权向量作为加权模型中各个特征词的权值生成分类器。运用经典数据集对PSO-NB算法进行性能分析,结果表明,改进算法可有效减少冗余属性,降低计算复杂度,具有较高的准确率和召回率。 展开更多

关键词 朴素贝叶斯 互信息 属性约简 粒子群优化算法 权值优化

下载PDF 职称材料

基于颜色特征和纹理特征的岩屑岩性识别 被引量：3

13

作者 姚金铸 符耀庆 +3 位作者 王正勇 滕奇志 陈英涛 何艳 《四川大学学报（自然科学版）》 CAS CSCD 北大核心 2014年第2期313-318,共6页

针对现有条件下的岩屑录井中岩屑识别率低、识别速度慢等问题,从特征提取和分类器方面对岩屑岩性识别进行了分析研究.采用二级分类器的思想,首先通过颜色特征和和差直方图特征采用朴素贝叶斯分类器将岩屑粗分为泥岩和砂岩,然后进一步采... 针对现有条件下的岩屑录井中岩屑识别率低、识别速度慢等问题,从特征提取和分类器方面对岩屑岩性识别进行了分析研究.采用二级分类器的思想,首先通过颜色特征和和差直方图特征采用朴素贝叶斯分类器将岩屑粗分为泥岩和砂岩,然后进一步采用贝叶斯分类器,通过颜色特征和和差直方图特征分别将泥岩和砂岩进行进一步的细分.实验结果表明,粗分的识别率、泥岩细分的识别率和砂岩细分的识别率分别能达到94.79%、97.59%和90.28%.这种识别方法更加符合现实的应用需求,有着更高的识别率,为岩屑岩性分析工作提供了可靠的依据. 展开更多

关键词 岩屑 颜色特征 朴素bayes分类器 和差直方图

原文传递

一种基于朴素贝叶斯的银行卡批量业务预测方法 被引量：2

14

作者 罗鸣 《微型电脑应用》 2017年第11期79-80,共2页

目前银行卡批量业务已成为一种比较常见且重要的金融产品,其交易来源于收单机构以结算文件的形式批量上送,对后台处理系统的性能要求较高。基于朴素贝叶斯理论提出了银行卡批量业务日最大TPS(每秒交易笔数)的预测方法。利用生产数据在... 目前银行卡批量业务已成为一种比较常见且重要的金融产品,其交易来源于收单机构以结算文件的形式批量上送,对后台处理系统的性能要求较高。基于朴素贝叶斯理论提出了银行卡批量业务日最大TPS(每秒交易笔数)的预测方法。利用生产数据在测试环境的回放,得到测试环境最大TPS与生产实际值的回归关系,进而在测试环境拟合得到大量样本数据作为训练集,并取其中的20%数据作为测试集,实际验证了该方法具有准确度高、鲁棒性强的特点。 展开更多

关键词 朴素贝叶斯 银行卡批量业务 每秒交易笔数最大值预测

下载PDF 职称材料

安全攻击追踪分析中短文本分类研究 被引量：1

15

作者 黄克敏 方勇 《信息安全研究》 2015年第3期272-277,共6页

近年来,伴随着大数据时代信息技术的飞速发展,信息安全研究领域也得到快速发展,越来越多的网络信息安全攻击事件不断发生和被报道.为进一步保障网络信息安全,建立基于大数据平台下的网络信息安全攻击追踪分析系统显得尤为重要.大数据下... 近年来,伴随着大数据时代信息技术的飞速发展,信息安全研究领域也得到快速发展,越来越多的网络信息安全攻击事件不断发生和被报道.为进一步保障网络信息安全,建立基于大数据平台下的网络信息安全攻击追踪分析系统显得尤为重要.大数据下的网络信息安全攻击追踪分析系统是基于网络攻击事件的发生总会在信息安全相关的论坛、问答社区、贴吧或微博等交流讨论网络攻击技术的平台上留下大量的网络攻击痕迹这一事实,借助大数据分析平台对多源海量数据快速分析处理的优势,对在社交网络平台上留下的讨论信息安全短文本数据进行多维度、多角度的关联分析和深度挖掘,对可能发生的网络信息安全攻击事件进行预测和已经发生的网络信息安全攻击事件进行追踪及分析.其中基于大数据平台下的网络信息安全攻击追踪分析系统中涉及到很重要的一项技术:文本的分类技术.主要研究系统中的文本分类技术,选择朴素贝叶斯作为文本分类算法,由于朴素贝叶斯分类算法的特征项间独立性假设在现实中一般很难满足,为了在一定程度上放宽这一假设,提出了一种基于特征项改进权重朴素贝叶斯的分类方法,此分类方法基于改进卡方统计特征项选择方法和加权朴素贝叶斯分类算法相结合,充分考虑特征项对分类作用的大小和各特征项之间的依赖关系,并用语料库样本进行相应的实验.实验结果表明,基于特征项改进权重朴素贝叶斯分类方法比改进前的分类效果有一定的提高. 展开更多

关键词 大数据 网络信息安全 网络攻击 文本分类 朴素贝叶斯分类法 改进权重朴素贝叶斯分类方法

下载PDF 职称材料

基于朴素贝叶斯分类算法的股指预测研究 被引量：1

16

作者 任民宏 肖海蓉 《陕西理工学院学报（自然科学版）》 2014年第3期68-73,共6页

预测大盘指数的涨跌幅度在股票投资中具有重要的意义。大盘指数的涨跌既与国家的宏观经济政策有关,也与大盘指数自身运行状态有关。结合朴素贝叶斯分类算法和股票大盘指数涨跌的影响因素建立了大盘指数分类预测模型,以上证指数为例进行... 预测大盘指数的涨跌幅度在股票投资中具有重要的意义。大盘指数的涨跌既与国家的宏观经济政策有关,也与大盘指数自身运行状态有关。结合朴素贝叶斯分类算法和股票大盘指数涨跌的影响因素建立了大盘指数分类预测模型,以上证指数为例进行了实验,结果表明分类预测模型有效,准确性较高。 展开更多

关键词 朴素贝叶斯分类算法 大盘指数 预测模型

下载PDF 职称材料