基于多维数据流挖掘技术的入侵检测模型与算法 被引量：25

1

作者 毛国君 宗东军 《计算机研究与发展》 EI CSCD 北大核心 2009年第4期602-609,共8页

网络访问数据有着数据流的高速、无穷达到的特点,所以利用传统多遍扫描数据库的挖掘技术来构建入侵检测模型是不可行的.针对网络访问数据流的特点,提出了一种基于多维数据流挖掘技术的入侵检测模型.此模型将传统的误用检测和异常检测两... 网络访问数据有着数据流的高速、无穷达到的特点,所以利用传统多遍扫描数据库的挖掘技术来构建入侵检测模型是不可行的.针对网络访问数据流的特点,提出了一种基于多维数据流挖掘技术的入侵检测模型.此模型将传统的误用检测和异常检测两种入侵检测方法进行有机融合,因此能够克服目前广泛使用的误用检测方法无法检测新的攻击类型的缺点,并且也能够保持检测的高效性.网络访问数据记录的结构是复杂的,一个访问行为总是联系到许多属性,所以分析的难度很大.因此,引入多维频度等概念来解决网络数据流的模式表示和生成问题.同时,针对多维频度模式的特点,提出了一种新型数据结构MaxFP-Tree.在MaxFP-Tree的基础上,给出了一种高效的挖掘网络访问数据流的学习算法MaxFPinNDS.MaxFPinNDS采用衰减机制挖掘,可以快速地形成一个数据流的最近时期数据所隐含的最大频繁项目集.实验表明,设计的入侵检测模型是有效的. 展开更多

关键词 多维数据流 入侵检测 异常检测 误用检测 最大频繁项集

下载PDF 职称材料

共现聚类分析的新方法：最大频繁项集挖掘 被引量：22

2

作者 徐硕 乔晓东 +2 位作者 朱礼军 张运良 薛春香 《情报学报》 CSSCI 北大核心 2012年第2期143-150,共8页

针对某一领域的文献，如果两个研究对象同现的频率越高，则通常假设二者存在联系的可能性越大。从而促使共词分析、文献共引分析以及文献作者共著分析等共现分析方法的流行。然而，传统共现分析三个阶段中的前两个阶段存在一定的缺陷，... 针对某一领域的文献，如果两个研究对象同现的频率越高，则通常假设二者存在联系的可能性越大。从而促使共词分析、文献共引分析以及文献作者共著分析等共现分析方法的流行。然而，传统共现分析三个阶段中的前两个阶段存在一定的缺陷，从而导致最后得到的共现聚类分析的结果可能存在一定的误导性。为克服该缺陷，本文从关联规则挖掘领域引入了一种新的共现聚类分析方法——最大频繁项集挖掘，它将传统共现分析法的三个阶段压缩为一个阶段，充分利用了可以利用的各种信息，克服了传统方法的缺陷。通过实验分析发现，设置合适的最小支持度阈值，基本上可以得到比较满意的结果。 展开更多

关键词 共现分析 共词分析 聚类分析 最大频繁项集 层次聚类

下载PDF 职称材料

最大频繁项集的高效挖掘 被引量：13

3

作者 陈凯 冯全源 《微电子学与计算机》 CSCD 北大核心 2005年第8期22-25,共4页

提出了一种基于布尔矩阵的最大频繁项集挖掘算法MBA(Mining Boolean Array for maximal frequent item-sets),通过将FP-tree映射成布尔矩阵和权值表,运用布尔逻辑运算进行矩阵投影操作得到最大频繁项集,运算效率得到很大提高。

关键词 数据挖掘 关联规则 最大频繁项集 频繁模式树 频繁模式矩阵

下载PDF 职称材料

基于改进FP-tree的最大频繁项集挖掘算法 被引量：14

4

作者 陈晨 鞠时光 《计算机工程与设计》 CSCD 北大核心 2008年第24期6236-6239,共4页

现有的最大频繁项集挖掘算法在挖掘过程中需要进行超集检测,基于FP-tree的算法需要递归的建立条件频繁模式树,挖掘效率不高。提出了一种基于改进FP-tree高效挖掘最大频繁项集的算法(MMFI)。该算法修改了FP-tree结构并采用NBN策略,在挖... 现有的最大频繁项集挖掘算法在挖掘过程中需要进行超集检测,基于FP-tree的算法需要递归的建立条件频繁模式树,挖掘效率不高。提出了一种基于改进FP-tree高效挖掘最大频繁项集的算法(MMFI)。该算法修改了FP-tree结构并采用NBN策略,在挖掘过程中既不需要进行超集检测也不需要递归的建立条件频繁模式树。算法分析和实验结果表明,该算法是一种有效、快速的算法。 展开更多

关键词 数据挖掘 关联规则 最大频繁项集 超集检测 频繁模式树

下载PDF 职称材料

基于FPMAX的最大频繁项目集挖掘改进算法 被引量：9

5

作者 牛新征 佘堃 《计算机科学》 CSCD 北大核心 2013年第12期223-228,共6页

挖掘事务数据库中的最大频繁项目集是数据挖掘领域一个重要的研究方向。基于FP-tree的FPMAX算法是目前较为高效与稳定的最大频繁项目集挖掘算法之一。然而对于稠密数据库中的挖掘,FPMAX会产生大量的冗余递归过程,导致额外的条件FP-tree... 挖掘事务数据库中的最大频繁项目集是数据挖掘领域一个重要的研究方向。基于FP-tree的FPMAX算法是目前较为高效与稳定的最大频繁项目集挖掘算法之一。然而对于稠密数据库中的挖掘,FPMAX会产生大量的冗余递归过程,导致额外的条件FP-tree构造开销。而且在支持度较低时,FPMAX则会因用于超集检测的全局MFItree较为庞大而导致超集检测的性能下降。为此提出FPMAX的改进算法FPMAX-reduce,其通过采用基于事务共同后缀的前瞻剪枝策略来减少挖掘过程中的冗余递归过程。当递归过程中产生的新条件FP-tree规模较小时,FPMAX-reduce通过构造条件MFI-tree来减小后续超集检测遍历的开销。性能试验表明,FPMAX-reduce算法通过有效的前瞻剪枝,在稠密事务数据库以及低支持度的情况下至多可将递归过程减少至原算法的一半以下,进而有效地提高了FPMAX算法的效率。 展开更多

关键词 频繁项目集 最大频繁项目集 FP-TREE FPMAX FP-GROWTH

下载PDF 职称材料

基于改进FP-tree的最大频繁项目集挖掘算法 被引量：8

6

作者 马丽生 姚光顺 杨传健 《计算机应用》 CSCD 北大核心 2012年第2期326-329,共4页

针对已有算法为了减少PF-tree中路径被重复遍历的次数,需要保存FP-tree中所有频繁1-项集的条件模式基的问题,对FP-tree的数据结构进行修改,使得只需要保存FP-tree中每个叶子节点的父节点到根节点路径上项目组成的条件模式基,降低了保存... 针对已有算法为了减少PF-tree中路径被重复遍历的次数,需要保存FP-tree中所有频繁1-项集的条件模式基的问题,对FP-tree的数据结构进行修改,使得只需要保存FP-tree中每个叶子节点的父节点到根节点路径上项目组成的条件模式基,降低了保存条件模式基的存储空间开销。在分析最大频繁项目集挖掘算法中搜索空间以及数据表示方法的基础上,通过理论分析和证明,设计了剪枝策略和压缩策略,缩小了算法搜索空间,压缩了FP-tree的规模,提高了算法的执行效率。最后将新算法分别与NHTFPG算法、FpMAX算法进行对比,验证算法的正确性和有效性。实验结果表明,新算法保存FP-tree条件模式基所需要的存储空间不到NHTFPG算法的50%,执行效率比FpMAX算法提高了2～3倍。 展开更多

关键词 频繁项目集 最大频繁项目集 条件模式基 项头表 剪枝策略 压缩策略

下载PDF 职称材料

一种改进的正负关联规则挖掘算法 被引量：9

7

作者 陈宁军 高志年 《计算机科学》 CSCD 北大核心 2011年第12期191-193,212,共4页

针对传统正负关联规则挖掘算法需要多次扫描数据库并且生成大量候选频繁项集的问题,在对比目前相关研究成果的基础上,提出了一种改进的正负关联规则挖掘算法,它通过两次数据扫描完成对正负关联规则的挖掘,对最大频繁项集的挖掘算法做了... 针对传统正负关联规则挖掘算法需要多次扫描数据库并且生成大量候选频繁项集的问题,在对比目前相关研究成果的基础上,提出了一种改进的正负关联规则挖掘算法,它通过两次数据扫描完成对正负关联规则的挖掘,对最大频繁项集的挖掘算法做了改进,有效提高了算法效率,同时对置信度标准做了改进。基于某真实事务集的实验表明,算法提高了规则挖掘的质量和有效性。 展开更多

关键词 正负关联规则 关联规则挖掘 最大频繁项集 置信差

下载PDF 职称材料

项约束先过滤的最大频繁项集挖掘算法 被引量：8

8

作者 姚全珠 李如琼 王美君 《计算机工程》 CAS CSCD 2012年第4期73-75,共3页

在稠密型数据库中,现有最大频繁项集挖掘算法效率低、耗时长,挖掘结果模糊,不利于用户使用。为此,提出一种项约束先过滤的最大频繁项集挖掘算法——VCM。利用项包含约束过滤数据库,使用垂直数据表示数据集,采用深度优先的挖掘策略对数... 在稠密型数据库中,现有最大频繁项集挖掘算法效率低、耗时长,挖掘结果模糊,不利于用户使用。为此,提出一种项约束先过滤的最大频繁项集挖掘算法——VCM。利用项包含约束过滤数据库,使用垂直数据表示数据集,采用深度优先的挖掘策略对数据库进行最大频繁相集的挖掘。实验结果表明,该算法快速有效,尤其在挖掘具有长模式的稠密数据库时优势明显。 展开更多

关键词 关联规则 最大频繁项集 项约束 垂直数据格式 深度优先 稠密数据库

下载PDF 职称材料

基于Nodeset的最大频繁项集挖掘算法 被引量：6

9

作者 林晨 顾君忠 《计算机工程》 CAS CSCD 北大核心 2016年第12期204-207,216,共5页

递归遍历、条件FP-Tree构建与超集检测是多数基于FP-Tree最大频繁项集挖掘算法的主要性能瓶颈。为此,提出一种基于Nodeset的最大频繁项集挖掘算法——MFIN算法。该算法采用Nodeset数据结构对POC-Tree的节点编码,将集合枚举树作为搜索空... 递归遍历、条件FP-Tree构建与超集检测是多数基于FP-Tree最大频繁项集挖掘算法的主要性能瓶颈。为此,提出一种基于Nodeset的最大频繁项集挖掘算法——MFIN算法。该算法采用Nodeset数据结构对POC-Tree的节点编码,将集合枚举树作为搜索空间,避免递归遍历和条件FP-Tree构建的时间开销。设计提前停止方法提高求解Nodeset交集的效率,采用父等价剪枝技术和前瞻剪枝技术缩小搜索空间。对基于MFI-Tree的投影策略进行改进,提升超集检测的速度。实验结果表明,MFIN算法在mushroom,pumsb,webdocs数据集上的运行时间及执行效率等总体性能明显优于基于FP-Tree的FP-Max算法。 展开更多

关键词 最大频繁项集 关联规则 剪枝技术 前缀树 超集检测

下载PDF 职称材料

基于索引数组与集合枚举树的最大频繁项集挖掘算法 被引量：4

10

作者 宋威 杨炳儒 +1 位作者 徐章艳 侯伟 《计算机科学》 CSCD 北大核心 2007年第7期146-149,共4页

由于其内在的计算复杂性,挖掘密集型数据集的全部频繁项集非常困难,解决方案之一是挖掘最大频繁项集。集合枚举树是最大频繁项集挖掘算法中常用的数据结构,最大频繁项集的挖掘过程也可以看作是集合枚举树的搜索过程。为缩小集合枚举树... 由于其内在的计算复杂性,挖掘密集型数据集的全部频繁项集非常困难,解决方案之一是挖掘最大频繁项集。集合枚举树是最大频繁项集挖掘算法中常用的数据结构,最大频繁项集的挖掘过程也可以看作是集合枚举树的搜索过程。为缩小集合枚举树的搜索空间,采用宽度优先和深度优先相结合的混合搜索策略,提出了一种新的最大频繁项集的挖掘算法Index-MaxMiner。该算法首先设计了索引数组这种新的数据结构,并给出了一个基于二进制位图技术的索引数组的计算方法。通过为每个频繁项增加包含索引,Index-MaxMiner利用一次宽度优先搜索得到了候选最大频繁项集,使集合枚举树的第一层结点个数大幅度减少。然后在候选最大频繁项集中通过深度优先搜索,得到全部最大频繁项集,从而实现了集合枚举树的跳跃式搜索,大大缩小了搜索空间。实验结果表明,该算法可有效提高最大频繁项集的挖掘效率。 展开更多

关键词 数据挖掘 关联规则 最大频繁项集 索引数组 集合枚举树

下载PDF 职称材料

基于FP-tree的最大频繁项集挖掘新算法

11

作者 彭慧伶 舒云星 武新 《计算技术与自动化》 2009年第2期62-65,共4页

研究挖掘关联规则的一个重要工作就是找出所有的频繁项集。基于FP-tree的最大频繁项集挖掘算法要多次生成大量的FP-tree,并且需要对其多次遍历,消耗了大量的时间。针对以上缺点,提出一种基于FP-tree并利用数组和矩阵技术进行优化的最大... 研究挖掘关联规则的一个重要工作就是找出所有的频繁项集。基于FP-tree的最大频繁项集挖掘算法要多次生成大量的FP-tree,并且需要对其多次遍历,消耗了大量的时间。针对以上缺点,提出一种基于FP-tree并利用数组和矩阵技术进行优化的最大频繁项集挖掘算法(Mining Maximal FrequentItemset,简称MMFI),它既减少创建FP-tree的数量,又节省遍历FP-tree的时间,实验证明本算法是有效的。 展开更多

关键词 关联规则 最大频繁项集 频繁模式树 频繁项集

下载PDF 职称材料

最大频繁项集挖掘算法综述

12

作者 陈晨 《电脑知识与技术》 2008年第11Z期1030-1031,共2页

关联规则挖掘是近年来数据挖掘领域中一个相当活跃的领域,频繁项集挖掘是关联规则挖掘中最重要的任务。最大频繁项集的规模远远小于频繁项集的规模,通过最大频繁项集可以导出所有的频繁项集,因此进行了很多专门挖掘最大频繁项集的研究... 关联规则挖掘是近年来数据挖掘领域中一个相当活跃的领域,频繁项集挖掘是关联规则挖掘中最重要的任务。最大频繁项集的规模远远小于频繁项集的规模,通过最大频繁项集可以导出所有的频繁项集,因此进行了很多专门挖掘最大频繁项集的研究。给出了关联规则和相关术语的基本概念,对最大频繁项集挖掘算法作了分析与评价,便于研究者对已有的算法进行改进,提出具有更好性能的新算法。 展开更多

关键词 数据挖掘 关联规则 最大频繁项集 算法综述

下载PDF 职称材料

改进的最大频繁项集挖掘算法 被引量：2

13

作者 陈晨 鞠时光 《计算机工程与设计》 CSCD 北大核心 2010年第18期4009-4011,4032,共4页

为了提高挖掘关联规则的效率,提出基于改进FP-Tree结构的最大频繁项集挖掘算法。介绍并分析了挖掘最大频繁项集的过程和现有算法,指出现有算法中耗时的关键步骤。克服了MMFI算法中需要反复从头表出发沿相同项目结点链搜索右侧结点的缺点... 为了提高挖掘关联规则的效率,提出基于改进FP-Tree结构的最大频繁项集挖掘算法。介绍并分析了挖掘最大频繁项集的过程和现有算法,指出现有算法中耗时的关键步骤。克服了MMFI算法中需要反复从头表出发沿相同项目结点链搜索右侧结点的缺点,提出一种改进的最大频繁项集挖掘算法IMMFI。通过在有序FP-Tree中引入叶子链,用沿叶子链搜索取代沿同层结点链搜索,有效地减少了搜索的次数,提高了算法的效率。实验结果表明了该算法的性能良好。 展开更多

关键词 数据挖掘 关联规则 最大频繁项集 超集检测 频繁模式树

下载PDF 职称材料

在单向FP-tree上挖掘最大频繁项集 被引量：1

14

作者 宋晶晶 姜保庆 关丽霞 《现代计算机》 2010年第1期19-24,共6页

针对稠密数据集,提出一种基于单向FP-tree的最大频繁项集挖掘算法Unid_FP-Max2。该算法在挖掘过程中只生成被约束子树,而它是一种虚拟的树结构,在原有的单向FP-tree基础上用三个很小的数组来表示,因而避免了以往算法需递归构造条件FP-t... 针对稠密数据集,提出一种基于单向FP-tree的最大频繁项集挖掘算法Unid_FP-Max2。该算法在挖掘过程中只生成被约束子树,而它是一种虚拟的树结构,在原有的单向FP-tree基础上用三个很小的数组来表示,因而避免了以往算法需递归构造条件FP-tree来计算最大频繁项集的弊端,极大的降低了内存空间和时间开销,提高了挖掘效率。实验表明,与FP-Max算法相比,算法的效率提高了1倍以上。 展开更多

关键词 数据挖掘 频繁项集 最大频繁项集 单向FP—tree 被约束子树

下载PDF 职称材料

一种面向中医药领域的二维最大频繁项集挖掘算法 被引量：2

15

作者 肖文 鞠时光 +2 位作者 朱金伟 辛燕 刘志锋 《小型微型计算机系统》 CSCD 北大核心 2007年第12期2193-2198,共6页

在中医药领域挖掘药组频繁项集时发现,尽管有些项集的支持度比人们需要的频繁项集的支持度高很多,但这些项集并不是人们感兴趣的,即过分频繁反而变得平凡.本文引入支持度区间的概念,提出了适合中药数据挖掘的二维TCM-FP森林结构及其建... 在中医药领域挖掘药组频繁项集时发现,尽管有些项集的支持度比人们需要的频繁项集的支持度高很多,但这些项集并不是人们感兴趣的,即过分频繁反而变得平凡.本文引入支持度区间的概念,提出了适合中药数据挖掘的二维TCM-FP森林结构及其建树算法.在针对疾病症状的中药药组挖掘过程中,采用优化的搜索策略开发了基于支持度区间的TCMA维间最大频繁项集挖掘算法.这种算法既缩小了挖掘的范围又提高了规则的意义,并且具有较高的执行效率. 展开更多

关键词 数据挖掘 中药 维间关联规则 最大频繁项集

下载PDF 职称材料

基于最大频繁项集的聚类算法 被引量：1

16

作者 张伟 张泽洪 《江南大学学报（自然科学版）》 CAS 2007年第3期288-292,共5页

鉴于高维数据的稀疏性和分类数据特点,探讨了专门针对高维分类数据的聚类方法.首先将原始数据集转换成频繁项集,再通过改造频繁模式树以及给出的剪切策略,挖掘出事务的最大频繁项集,并基于最大频繁项集(MFI)的两个属性,将具有相同MFI的... 鉴于高维数据的稀疏性和分类数据特点,探讨了专门针对高维分类数据的聚类方法.首先将原始数据集转换成频繁项集,再通过改造频繁模式树以及给出的剪切策略,挖掘出事务的最大频繁项集,并基于最大频繁项集(MFI)的两个属性,将具有相同MFI的对象归于一类,由此提出了基于最大频繁项集的聚类算法.通过对分类数据集的实验,表明该算法具有相当的稳定性、健壮性和有效性. 展开更多

关键词 高维分类数据 最大频繁项集 频繁模式树 投影聚类算法

下载PDF 职称材料

P2P网络中最大频繁项集挖掘算法研究 被引量：1

17

作者 邓忠军 宋威 +1 位作者 郑雪峰 王少杰 《计算机应用研究》 CSCD 北大核心 2010年第9期3490-3492,共3页

为解决P2P网络频繁项集挖掘中存在的全体频繁项集数量过多和网络通信开销较大这两个问题,提出了一种在P2P网络中挖掘最大频繁项集的算法P2PMaxSet。首先,该算法只挖掘最大频繁项集,减少了结果的数量;其次,每个节点只需与邻居节点进行结... 为解决P2P网络频繁项集挖掘中存在的全体频繁项集数量过多和网络通信开销较大这两个问题,提出了一种在P2P网络中挖掘最大频繁项集的算法P2PMaxSet。首先,该算法只挖掘最大频繁项集,减少了结果的数量;其次,每个节点只需与邻居节点进行结果交互,节省了大量的通信开销;最后,讨论了网络动态变化时算法的调整策略。实验结果表明,算法P2PMaxSet具有较高的准确率和较少的通信开销。 展开更多

关键词 数据挖掘 P2P网络 最大频繁项集 关联规则

下载PDF 职称材料

基于有序FP-tree结构和投影数据库的最大频繁模式挖掘算法 被引量：1

18

作者 王利军 唐立 《淮阴师范学院学报（自然科学版）》 CAS 2020年第1期35-39,44,共6页

OPFP-MAX是基于有序FP-tree结构和投影数据库的最大频繁模式挖掘算法。有序FP-tree结构不仅可以减少空间的浪费,而且由于树结构的有序性,在挖掘数据时可以减少挖掘事务项的数量,从而加快挖掘效率。算法采用垂直投影方案实现数据分解,基... OPFP-MAX是基于有序FP-tree结构和投影数据库的最大频繁模式挖掘算法。有序FP-tree结构不仅可以减少空间的浪费,而且由于树结构的有序性,在挖掘数据时可以减少挖掘事务项的数量,从而加快挖掘效率。算法采用垂直投影方案实现数据分解,基于投影数据库创建局部树结构,从而进一步减少对系统空间资源的浪费。采用优化策略加快挖掘效率。实验验证了算法的可行性和优越性。 展开更多

关键词 有序FP-tree 投影数据库 最大频繁项集

下载PDF 职称材料

基于反向矩阵的最大频集的交互式挖掘算法

19

作者 雷红艳 邹汉斌 《计算机与现代化》 2005年第3期1-4,共4页

发现最大项目频集是数据挖掘应用中的关键问题。本文提出了一个基于反向矩阵的最大频集的交互式挖掘算法。该算法将事务数据库转换成反向矩阵,缩小了候选子集,利于交互式挖掘。通过对每个频繁项独立建立COFI 树,减少了挖掘中对内存容量... 发现最大项目频集是数据挖掘应用中的关键问题。本文提出了一个基于反向矩阵的最大频集的交互式挖掘算法。该算法将事务数据库转换成反向矩阵,缩小了候选子集,利于交互式挖掘。通过对每个频繁项独立建立COFI 树,减少了挖掘中对内存容量的依赖。 展开更多

关键词 交互式数据挖掘 最大频繁集 COFI-树 反向矩阵

下载PDF 职称材料

一种基于位置向量挖掘最大频繁集的算法

20

作者 马莉 耿风 韩崇 《扬州职业大学学报》 2011年第2期25-28,共4页

提出了一种新的挖掘最大频繁集的深度优先算法GMPV。该算法利用集合枚举树,并用位置向量来表示项目子集,挖掘过程中使用了超集检测和基于支持度的剪枝技术,减少了某些项目子集的支持度计算。

关键词 最大频繁集 深度优先搜索 位置向量 集合枚举树

下载PDF 职称材料