基于关联规则数据挖掘技术在音乐分类中应用 被引量：4

1

作者 张婷婷 《现代电子技术》 北大核心 2020年第1期99-101,106,共4页

为了提高音乐分类的精准性及个性化,提出基于关联规则的数据挖掘技术在音乐分类中的使用,解决单一轨道提取的局限性问题。首先,对音乐文件预处理进行分析,主要包括提取主旋律、分析和声;之后,对基于FP_Growth关联规则挖掘算法的音乐风... 为了提高音乐分类的精准性及个性化,提出基于关联规则的数据挖掘技术在音乐分类中的使用,解决单一轨道提取的局限性问题。首先,对音乐文件预处理进行分析,主要包括提取主旋律、分析和声;之后,对基于FP_Growth关联规则挖掘算法的音乐风格进行分析。因为FP_Growth算法只需要扫描两遍原始数据,对原始数据进行压缩具有较高的效率,所以将FP_Growth关联规则挖掘算法应用于音乐媒体的风格分类中,并且创建基于FP_Growth关联规则挖掘的音乐风格分类,减少所需频繁项集的数量,从而提高数据库扫描速度,在此过程中不需要候选项集,实现音乐分类过程中的数据挖掘;最后,对数据挖掘的效率进行Matlab测试,测试结果表示,相比基于LAD和Apriori算法的音乐风格分类,基于FP_Growth的音乐风格分类减少了I/O开销,提高了运行效率和分类的精准性。 展开更多

关键词 音乐分类 数据挖掘 关联规则算法 音乐风格分析 主旋律提取 fp_growth

下载PDF 职称材料

一种新的基于FP_Growth的频繁项目集并行挖掘算法 被引量：3

2

作者 孙鸿艳 吉根林 《南京师大学报（自然科学版）》 CAS CSCD 北大核心 2016年第4期19-24,共6页

频繁项目集挖掘用于发现项目之间的关联规则.为了高效求解面向大数据的频繁项目集,本文提出一种新的基于FP_Growth的频繁项目集并行挖掘算法NPFP_Growth(New Parallel algorithm based on FP_Growth),该算法对频繁模式树的存储结构进行... 频繁项目集挖掘用于发现项目之间的关联规则.为了高效求解面向大数据的频繁项目集,本文提出一种新的基于FP_Growth的频繁项目集并行挖掘算法NPFP_Growth(New Parallel algorithm based on FP_Growth),该算法对频繁模式树的存储结构进行改进,基于Map/Reduce并行计算模型,利用HDFS实现数据存储,在各自计算节点上构造局部频繁模式树,求解该局部频繁模式树中每个分支的最长全局频繁项目集;对于全局非频繁项目集,计算其支持数,发送至相应计算节点进行支持度统计,从而以较为简单的算法实现频繁项目集并行挖掘.实验表明,NPFP_Growth算法具有较高的计算效率和良好的可伸缩性. 展开更多

关键词 频繁项目集 关联规则 fp_growth HADOOP MAP/REDUCE

下载PDF 职称材料

基于FP＿Growth和Slope＿one的图书推荐 被引量：1

3

作者 王政 郜鲁涛 +2 位作者 齐伟恒 彭伟 彭琳 《计算机技术与发展》 2018年第9期83-87,93,共6页

电子商务的大环境下,人们在电商平台中很难有效地选择出感兴趣的书籍,推荐系统能够解决这一问题。然而将传统的协同过滤算法应用到图书推荐中,存在着数据稀疏、推荐准确率低等问题。针对这些问题,在传统协同过滤算法的基础上,文中提出... 电子商务的大环境下,人们在电商平台中很难有效地选择出感兴趣的书籍,推荐系统能够解决这一问题。然而将传统的协同过滤算法应用到图书推荐中,存在着数据稀疏、推荐准确率低等问题。针对这些问题,在传统协同过滤算法的基础上,文中提出了一种基于FP_Growth和slope_one的协同过滤算法。首先对数据集中默认评分为0的记录进行重新评分,然后采用基于FP_Growth的矩阵填充算法对数据集进行填充,最后对协同过滤算法中的slope_one预测评分策略进行改进。将该算法应用到Book-Crossing图书数据集中,实验结果表明,改进后的算法推荐效果提升明显。该算法不仅解决了用户对书籍的选择问题,而且能够帮助电商最大程度地提升销售额。 展开更多

关键词 协同过滤 fp_growth slope_one 图书推荐

下载PDF 职称材料

基于有限个条件FP_树中挖掘频繁模式

4

作者 林丽 冯少荣 薛永生 《计算机工程与应用》 CSCD 北大核心 2007年第5期175-177,共3页

在数据挖掘中发现关联规则是一个基本问题,而关联规则发现中最昂贵的步骤便是寻找频繁模式。FP_growth(FrequentPatern growth)方法在产生长短频繁项集时不产生候选项集,从而大大提高了挖掘的效率,但是FP_growth在挖掘频繁模式时候产生... 在数据挖掘中发现关联规则是一个基本问题,而关联规则发现中最昂贵的步骤便是寻找频繁模式。FP_growth(FrequentPatern growth)方法在产生长短频繁项集时不产生候选项集,从而大大提高了挖掘的效率,但是FP_growth在挖掘频繁模式时候产生大量的条件FP树从而占用大量空间,对FP_growth进行研究并提出一种改进算法,该算法不仅利用FP_growth算法所有优点而且避免了FP_growth的缺陷。主要通过建立有限棵条件FP树(数目为事务数据库的属性个数)来挖据长短频繁模式,大大节省了FP_growth算法所需要空间,实验证明该文算法是有效的。 展开更多

关键词 关联规则 fp_growth 频繁模式 条件fp树

下载PDF 职称材料

基于FP_Growth的消费行为关联分析系统设计与实现 被引量：1

5

作者 黄伟 李国和 +3 位作者 吴卫江 洪云峰 刘智渊 程远 《计算机应用与软件》 CSCD 2015年第8期34-37,79,共5页

分析消费行为,挖掘消费因素之间关联关系,可以辅助指导生产和销售企业的管理和决策。针对海量消费数据引起的内存不足问题,对数值型数据进行离散化,以数据库关系表为频繁模式树存储结构,并建立高效索引,实现频繁模式树中节点快速检索,... 分析消费行为,挖掘消费因素之间关联关系,可以辅助指导生产和销售企业的管理和决策。针对海量消费数据引起的内存不足问题,对数值型数据进行离散化,以数据库关系表为频繁模式树存储结构,并建立高效索引,实现频繁模式树中节点快速检索,最终采用Oracle数据库存储过程实现FP_Growth算法。以B/S体系结构,实现了基于关联规则的消费行为关联分析系统,并取得很好应用效果。 展开更多

关键词 消费行为 fp_growth 关联规则 存储过程

下载PDF 职称材料

一种基于裁剪FP-Tree的频繁项集挖掘算法 被引量：1

6

作者 罗芳 《宜春学院学报》 2015年第12期22-25,共4页

FP-Growth算法在挖掘过程中产生大量的条件FP树,构造和遍历这些树要花费较大的时间开销,且需占用大量的存储空间,导致算法挖掘效率不高。为此,提出了一种新的FP树裁剪方法,构造二维数组存放所有2-项集的支持度计数,利用"若某一项... FP-Growth算法在挖掘过程中产生大量的条件FP树,构造和遍历这些树要花费较大的时间开销,且需占用大量的存储空间,导致算法挖掘效率不高。为此,提出了一种新的FP树裁剪方法,构造二维数组存放所有2-项集的支持度计数,利用"若某一项集的子集是非频繁的,那么该项集一定不是频繁项集"这一性质判断包含某结点的项集是否是频繁项集的,继而实现对FP树的裁剪。实验结果表明,改进后的算法可有效减少FP树的结点数,同时减少条件FP树的生成,从而提高了挖掘效率。 展开更多

关键词 关联规则 频繁项集 fp-growth 裁剪

下载PDF 职称材料

基于HASH表的多谓词约束下频繁项集挖掘 被引量：1

7

作者 张婕 张燕 李广水 《微电子学与计算机》 CSCD 北大核心 2011年第10期56-59,共4页

针对在交易数据库中挖掘出指定顾客相关属性的频繁项集这一问题,提出了基于维约束进行求解的构想.采用模式增长的挖掘方法,但与传统的模式树不同的是将原先每一节点频繁计数值设为在所有可能的谓词约束下该项的计数形成的向量,并利用HAS... 针对在交易数据库中挖掘出指定顾客相关属性的频繁项集这一问题,提出了基于维约束进行求解的构想.采用模式增长的挖掘方法,但与传统的模式树不同的是将原先每一节点频繁计数值设为在所有可能的谓词约束下该项的计数形成的向量,并利用HASH表进行向量值及项所在层的位置映射,因此,在不同的约束组合下的频繁项集挖掘将不再需要扫描数据库.仿真实验表明该挖掘算法的完备性,通过与先筛选再挖掘的算法进行比较,证明该挖掘算法具有更高的效率. 展开更多

关键词 多谓词约束 频繁项集 模式增长 HASH表

下载PDF 职称材料

基于FP__Growth算法的路段拥堵分析

8

作者 刘良旭 蔡曜镫 王杰 《宁波工程学院学报》 2016年第3期6-11,共6页

笔者从城市交通的历史拥堵数据出发,从时间和空间两个角度去寻找城市内道路的拥堵模式,最终得到城市存在的带时间因子的路段拥堵模式。为了提高算法效率,本文参考频繁模式算法FP-Growth的思想,构建一个三维的FPTree来提高算法效率。最... 笔者从城市交通的历史拥堵数据出发,从时间和空间两个角度去寻找城市内道路的拥堵模式,最终得到城市存在的带时间因子的路段拥堵模式。为了提高算法效率,本文参考频繁模式算法FP-Growth的思想,构建一个三维的FPTree来提高算法效率。最后使用从百度地图获得的上海城市拥堵实时数据作为实验数据,对算法进行了验证,实验证明,该算法可以获得更加实际有效的城市拥堵模式集合。 展开更多

关键词 fp_growth 实时拥堵 交通流量 时间维度 频繁模式

下载PDF 职称材料

基于模式识别临床病例异常检测算法研究

9

作者 田青华 杨鹤标 郑甜 《计算机工程与设计》 CSCD 北大核心 2009年第24期5705-5707,5711,共4页

目前临床病例异常检测的研究主要采用病症关联、费用控制和临床序列模式挖掘等方法,对无症状信息、无完整临床行为时间等临床数据仍具有一定的局限性。根据这一类临床数据特点,提出了基于模式识别的CC_FR模型,该模型采用频繁模式挖掘的... 目前临床病例异常检测的研究主要采用病症关联、费用控制和临床序列模式挖掘等方法,对无症状信息、无完整临床行为时间等临床数据仍具有一定的局限性。根据这一类临床数据特点,提出了基于模式识别的CC_FR模型,该模型采用频繁模式挖掘的方法确定单病种隶属函数,通过隶属函数中的频繁模式与待检测临床病例相匹配得到检测结果。实验结果表明,该模型可以有效的检测临床病例异常性,在临床医疗中起到监督和警示的作用。 展开更多

关键词 异常检测 模式识别 频繁模式挖掘 fp增长 隶属函数

下载PDF 职称材料

关联规则的精简方法研究

10

作者 杜永生 《赤峰学院学报（自然科学版）》 2011年第10期33-34,共2页

关联规则挖掘是当前数据挖掘研究的主要模式之一,但当支持度阈值较低或数据集中存在大量长模式时,可能产生大量的关联规则,这将给人们的理解和从中发现有趣的模式造成一定的困难.因此,关联规则的精简成为一个新的研究热点.

关键词 关联规则 频繁闭项集 最大频繁项集 数据挖掘 APRIORI fp_growth

下载PDF 职称材料

具有动态加权特性的关联规则算法 被引量：16

11

作者 欧阳继红 王仲佳 刘大有 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2005年第3期314-319,共6页

基于FP_growth关联规则, 提出一种具有动态加权特性的改进算法. 把事务数据库中的项目按其重要程度划分为5个等级; 运用层次分析(AHP)算法构造判断矩阵, 计算特征向量; 将得到的向量作为权值, 与项目在事务数据库中出现的次数综合考虑... 基于FP_growth关联规则, 提出一种具有动态加权特性的改进算法. 把事务数据库中的项目按其重要程度划分为5个等级; 运用层次分析(AHP)算法构造判断矩阵, 计算特征向量; 将得到的向量作为权值, 与项目在事务数据库中出现的次数综合考虑作为衡量重要程度的标准, 生成FP_tree; 最后得到频繁项目集和关联规则. 由于权重的赋予过程可以由领域专家动态地改变, 这样不但能挖掘出更有意义的规则, 而且在算法的运行初期就大量剔除了那些权重小的无用项目集, 从而大大提高了算法的运行效率. 展开更多

关键词 数据挖掘 关联规则 fp_growth算法 加权树 层次分析方法

下载PDF 职称材料

基于自适应FP＿Growth算法的电能表故障分析 被引量：10

12

作者 朱逸群 杨霖 +2 位作者 曹国瑞 滕永兴 李祺 《科学技术与工程》 北大核心 2019年第28期172-178,共7页

2013~2018年,天津市电力公司共拆回14×104台故障电能表,并构建了电能表故障信息库。对信息库进行数据挖掘,对提高电力行业服务能力、保障用户用电稳定性具有重要意义。使用FP_Growth算法对故障电能表故障数据库进行关联性分析。针... 2013~2018年,天津市电力公司共拆回14×104台故障电能表,并构建了电能表故障信息库。对信息库进行数据挖掘,对提高电力行业服务能力、保障用户用电稳定性具有重要意义。使用FP_Growth算法对故障电能表故障数据库进行关联性分析。针对FP_Growth算法需要人为设定阈值的缺点,引入自适应的方法进行阈值设定,按照权重调整支持度。对电能表故障类型与故障影响因素进行关联性分析,得出结论:13版电能表在多方面性能上有所改进,可考虑逐渐替代09版电能表;时钟电池电压低与时钟故障组合是电能表的最高发故障。因此,电能表电池性能仍是需要改进的主要方向。 展开更多

关键词 数据挖掘 fp_growth算法 自适应阈值 电能表 故障分析

下载PDF 职称材料

布尔型关联规则挖掘算法研究 被引量：5

13

作者 高俊 何守才 《计算机工程》 CAS CSCD 北大核心 2006年第1期116-118,141,共4页

在分析FP_growth关联规则挖掘算法的基础上,提出了一种MFP的算法,给出了算法的工作原理。MFP算法能在一次扫描事务数据库过程中,把该数据库转换成MFP树,然后对MFP树进行关联规则挖掘。MFP算法比FP_growth算法减少一次对事务数据的扫描,... 在分析FP_growth关联规则挖掘算法的基础上,提出了一种MFP的算法,给出了算法的工作原理。MFP算法能在一次扫描事务数据库过程中,把该数据库转换成MFP树,然后对MFP树进行关联规则挖掘。MFP算法比FP_growth算法减少一次对事务数据的扫描,因此具有较高的时间效率。 展开更多

关键词 关联规则挖掘 fp_growth算法 Mfp算法

下载PDF 职称材料

基于FP_Growth算法的关联规则挖掘研究及应用 被引量：6

14

作者 马瑞敏 吴海霞 《太原师范学院学报（自然科学版）》 2021年第1期19-22,共4页

关联规则的发现对于挖掘数据中的隐含信息非常重要,针对关联规则挖掘算法进行研究,分析了利用FP_Growth算法构建FP-tree和递归挖掘频繁项集的过程,并应用该算法对大学生兴趣爱好问卷调查结果进行分析,通过找出强关联规则,准确了解学生... 关联规则的发现对于挖掘数据中的隐含信息非常重要,针对关联规则挖掘算法进行研究,分析了利用FP_Growth算法构建FP-tree和递归挖掘频繁项集的过程,并应用该算法对大学生兴趣爱好问卷调查结果进行分析,通过找出强关联规则,准确了解学生的共同爱好,有助于更好地开展校园文化活动. 展开更多

关键词 关联规则 频繁项集 fp_growth算法 fp-TREE 条件模式基

下载PDF 职称材料

基于FP_growth算法的课程相关性的关联规则研究 被引量：7

15

作者 邹竞 《计算机与数字工程》 2009年第6期39-43,共5页

文章探讨了高校专业课程间的相关性问题,通过对数据挖掘中的关联规则挖掘进行研究,将关联规则挖掘应用于高校教务管理数据库,针对学生的成绩数据进行预处理,并利用FP_growth算法较快地挖掘出隐藏在成绩数据之后课程关联性规则,从而得到... 文章探讨了高校专业课程间的相关性问题,通过对数据挖掘中的关联规则挖掘进行研究,将关联规则挖掘应用于高校教务管理数据库,针对学生的成绩数据进行预处理,并利用FP_growth算法较快地挖掘出隐藏在成绩数据之后课程关联性规则,从而得到了一些合理、可靠的课程相关性规则,为高校的专业课程设置和学生选课提供决策依据。 展开更多

关键词 数据挖掘 关联规则 课程相关性 fp_growth算法

下载PDF 职称材料

Spark平台中的并行化FP_growth关联规则挖掘方法 被引量：5

16

作者 朱岸青 李帅 唐晓东 《计算机科学》 CSCD 北大核心 2020年第12期139-143,共5页

为了提高关联规则挖掘效率,文中提出了一种适用于Spark平台的并行化FP_growth关联规则挖掘方法。首先,利用Spark平台在分布式系统中的所有节点的内存RDD中完成遍历扫描运算,得到频繁集,以便生成FP_Table并更新FP_Tree。然后,引入时间序... 为了提高关联规则挖掘效率,文中提出了一种适用于Spark平台的并行化FP_growth关联规则挖掘方法。首先,利用Spark平台在分布式系统中的所有节点的内存RDD中完成遍历扫描运算,得到频繁集,以便生成FP_Table并更新FP_Tree。然后,引入时间序列来预测待挖掘的项目集,以便实现分布式系统中的所有节点能够均衡分担挖掘任务,从而充分利用各节点的FP_Tree遍历功能,获取FP_growth关联规则挖掘结果。实验结果显示,相比单机情况,并行化FP_growth关联规则挖掘在效率方面提高了约60%。经过负载均衡处理后的FP_growth关联规则挖掘的效率更高,提高了约14%,这说明各节点遍历任务的分配更均衡,并行化程度更高。 展开更多

关键词 Spark平台 fp_growth算法 关联规则挖掘 频繁集 负载均衡

下载PDF 职称材料

关联算法的改进及其在审计数据挖掘中的应用 被引量：2

17

作者 吕锋 陈华胜 《武汉理工大学学报（信息与管理工程版）》 CAS 2004年第5期5-9,共5页

研究了审计数据挖掘中一种不产生候选频集的高速算法——FPgrowth算法;随后,针对入侵检测的应用环境,提出了FPgrowth算法在入侵检测应用中的改进方案。

关键词 入侵检测 关联规则 fp_growth算法

下载PDF 职称材料

基于Spark的FP_Growth算法的并行与优化 被引量：4

18

作者 石陆魁 张欣 师胜利 《计算机工程与应用》 CSCD 北大核心 2018年第13期52-58,110,共8页

PFP_Growth算法是FP_Growth算法在Hadoop平台上基于MapReduce的并行化,该算法在分组过程中没有考虑负载均衡问题,导致各个节点完成任务时间不一致,甚至相差很大,从而降低了算法的执行效率。为了提高算法的执行效率,提出了一种基于Spark... PFP_Growth算法是FP_Growth算法在Hadoop平台上基于MapReduce的并行化,该算法在分组过程中没有考虑负载均衡问题,导致各个节点完成任务时间不一致,甚至相差很大,从而降低了算法的执行效率。为了提高算法的执行效率,提出了一种基于Spark的RPFP算法,该算法对PFP_Growth算法在均衡分组和降低时间复杂度两方面进行优化,通过把负载大的项放在负载总和最小的组里面实现均衡分组,通过在链头表结构中加入一张哈希表达到快速访问元素地址的目的,从而降低时间复杂度。实验结果表明,RPFP通过优化PFP算法,有效提高了频繁项集的挖掘效率。 展开更多

关键词 fp_growth算法 频繁项集挖掘 负载均衡 链头表结构 SPARK

下载PDF 职称材料

基于磁盘存储1项集计数的增量FP_GROWTH算法 被引量：4

19

作者 申彦 朱玉全 刘春华 《计算机研究与发展》 EI CSCD 北大核心 2015年第3期569-578,共10页

随着数据集规模的不断增大,提高频繁项集的挖掘效率成为数据挖掘领域的研究重点.频繁项集的增量更新挖掘算法因其可以利用已挖掘发现的信息提高对新数据集的挖掘效率,成为重要的研究方向.但现有频繁项集增量更新算法大多基于APRIORI算... 随着数据集规模的不断增大,提高频繁项集的挖掘效率成为数据挖掘领域的研究重点.频繁项集的增量更新挖掘算法因其可以利用已挖掘发现的信息提高对新数据集的挖掘效率,成为重要的研究方向.但现有频繁项集增量更新算法大多基于APRIORI算法框架,性能提高有限.最近出现的建立在FP-TREE等树形结构上的增量更新算法又往往存在树形结构调整困难、已发现频繁项集及树形结构保存效率较低等问题,算法性能有待进一步地提高.对此,通过分析增量挖掘过程中的关键信息,提出了一种基于磁盘存储1项集计数的增量FP_GROWTH算法(IU_FPGROWTH_1COUNTING).该算法无需保存临时树形结构及临时挖掘结果,可以在原数据集及支持度均发生变化时,减少FP_GROWTH算法对数据集的扫描,提高频繁项集的挖掘效率.在生成以及真实数据集上进行了验证实验以及性能分析,结果表明IU_FPGROWTH_1COUNTING是一种有效的频繁项集增量更新挖掘算法. 展开更多

关键词 关联规则 频繁项集 大规模数据 fp_growth算法 增量更新

下载PDF 职称材料

入侵检测系统中关联规则的挖掘

20

作者 张帆 夏红霞 +1 位作者 袁景凌 沈琦 《湖北工业大学学报》 2006年第3期215-218,共4页

在分析几种现有关联规则算法的基础上,针对网络数据的具体情况,引入关键属性、参考属性以及属性相对支持度的约束,对关联规则挖掘算法FP_Growth进行了扩展,解决了基本关联规则挖掘算法中产生大量无用模式的问题,从而帮助系统发掘出更有... 在分析几种现有关联规则算法的基础上,针对网络数据的具体情况,引入关键属性、参考属性以及属性相对支持度的约束,对关联规则挖掘算法FP_Growth进行了扩展,解决了基本关联规则挖掘算法中产生大量无用模式的问题,从而帮助系统发掘出更有意义的模式,提高了系统挖掘的执行效率和规则库的准确度. 展开更多

关键词 入侵检测 关联规则 fp_growth算法

下载PDF 职称材料