期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到268篇文章
< 1 2 … 14 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于云计算的Web数据挖掘 被引量：51
1
作者 程苗 《计算机科学》 CSCD 北大核心 2011年第B10期146-149,共4页
因特网是一个巨大的、分布广泛的信息服务中心,其上产生的海量数据通常是地理上分布、异构、动态的,复杂性也越来越高,若用已有的集中式数据挖掘方法则不能满足应用的要求。为了解决这些问题,提出了一种基于云计算的Web数据挖掘方法:将... 因特网是一个巨大的、分布广泛的信息服务中心,其上产生的海量数据通常是地理上分布、异构、动态的,复杂性也越来越高,若用已有的集中式数据挖掘方法则不能满足应用的要求。为了解决这些问题,提出了一种基于云计算的Web数据挖掘方法:将海量数据和挖掘任务分解到多台服务器上并行处理。采用Hadoop开源平台,建立一个基于Apriori算法的并行关联规则挖掘算法来验证了该系统的高效性。还提出"计算向存储迁移"的设计思想,将计算在数据存储节点就地执行,从而避免了大量数据在网络上的传递,不会占用大量带宽。 展开更多
关键词 云计算 数据挖掘 map/reduce 关联规则
下载PDF
基于Map-Reduce的海量数据高效Skyline查询处理 被引量：44
2
作者 丁琳琳 信俊昌 +1 位作者 王国仁 黄山 《计算机学报》 EI CSCD 北大核心 2011年第10期1785-1796,共12页
Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,... Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性. 展开更多
关键词 云计算 SKYLINE查询 map-reduce 海量数据 HADOOP
下载PDF
一种基于FP-Growth的频繁项目集并行挖掘算法 被引量：43
3
作者 章志刚 吉根林 《计算机工程与应用》 CSCD 2014年第2期103-106,共4页
FP-Growth算法是基于FP树挖掘频繁项目集的经典算法,为提高FP-Growth算法挖掘大规模数据频繁项目集的效率,提出了一种基于FP-Growth的频繁项目集并行挖掘算法FPPM。该算法基于Map/Reduce并行模型,在每个计算节点上首先构造局部频繁模式... FP-Growth算法是基于FP树挖掘频繁项目集的经典算法,为提高FP-Growth算法挖掘大规模数据频繁项目集的效率,提出了一种基于FP-Growth的频繁项目集并行挖掘算法FPPM。该算法基于Map/Reduce并行模型,在每个计算节点上首先构造局部频繁模式树,并对之进行挖掘得到局部频繁项目集,然后合并局部频繁项目集以得到全局频繁项集,由于此时得到的结果并不完备,所以对合并后未达到最小支持度阈值的项目集,重新计算其支持数。介绍了FPPM算法的设计思想,测试了其性能。实验结果表明FPPM算法具有较好的可扩展性。 展开更多
关键词 频繁项目集 并行挖掘 FP Growth map reduce
下载PDF
基于Hadoop的云计算模型 被引量：27
4
作者 林清滢 《现代计算机》 2010年第7期114-116,121,共4页
Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型Map/Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现... Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型Map/Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现步骤。 展开更多
关键词 云计算 HADOOP HDFS map/reduce
下载PDF
基于Redis内存数据库的快速查找算法 被引量：26
5
作者 郎泓钰 任永功 《计算机应用与软件》 CSCD 2016年第5期40-43,52,共5页
大数据时代的到来,使许多云环境下的新型应用蓬勃发展。针对大数据管理的新需求,key-value型数据存储系统成为当今研究的热点。基于key-value引擎的内存数据库Redis以及Cuckoo Hash技术,提出一种混合哈希快速查找算法CSR_Hash。通过对... 大数据时代的到来,使许多云环境下的新型应用蓬勃发展。针对大数据管理的新需求,key-value型数据存储系统成为当今研究的热点。基于key-value引擎的内存数据库Redis以及Cuckoo Hash技术,提出一种混合哈希快速查找算法CSR_Hash。通过对实验结果的分析,表明该算法有效地缩短了查询响应时间,并将其应用在通过Hadoop云平台以及Map/Reduce编程模型实现的图书销售系统中,对图书数据进行实时高效的解析与推荐,增强了No SQL数据库与Map/Reduce结合的实时性和高并发性。 展开更多
关键词 key-value型存储系统 Redis数据库 map/reduce CUCKOO HASH
下载PDF
异构环境下自适应的Map-Reduce调度 被引量：21
6
作者 陈全 邓倩妮 《计算机工程与科学》 CSCD 北大核心 2009年第A01期168-171,175,共5页
本文针对Hadoop自带的Map-Reduce调度器和LATE调度器的不足,提出了自适应的Map-Reduce调度方式。通过历史信息动态调整Map和Reduce任务各阶段的时间比例,以找出真正需要启动备份任务的任务。并将节点进一步分类,在快速节点上启动落后任... 本文针对Hadoop自带的Map-Reduce调度器和LATE调度器的不足,提出了自适应的Map-Reduce调度方式。通过历史信息动态调整Map和Reduce任务各阶段的时间比例,以找出真正需要启动备份任务的任务。并将节点进一步分类,在快速节点上启动落后任务的备份任务,从而减小响应时间,并尽量避免节点空载,以免浪费系统资源。最后通过具体实验验证了自适应的Map-Reduce调度的有效性,从历史信息中学习的方式在实验中能减少15%左右的响应时间,综合各种技术,能够减少25%左右的响应时间。 展开更多
关键词 map-reduce 异构环境 调度算法 自适应
下载PDF
基于Map-Reduce的大数据缺失值填充算法 被引量：18
7
作者 金连 王宏志 +1 位作者 黄沈滨 高宏 《计算机研究与发展》 EI CSCD 北大核心 2013年第S1期312-321,共10页
缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳方法是预先填充这些丢失的数据.给出了一种基于概率推理的填充分类属性的算法.推理过程是在一个基于属性... 缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳方法是预先填充这些丢失的数据.给出了一种基于概率推理的填充分类属性的算法.推理过程是在一个基于属性相关性而建立起来的贝叶斯网中完成.为实现大数据处理的并行化,在Map-Reduce框架中给出这两个算法.实验部分分别验证了贝叶斯网构建方法和概率推理对分类数据处理的有效性,以及算法在hadoop中运行的并行化程度. 展开更多
关键词 缺失值填充 概率推理 map-reduce
下载PDF
基于Google的云计算实例分析 被引量：14
8
作者 蔡键 王树梅 《电脑知识与技术》 2009年第9期7093-7095,7107,共4页
先介绍了云计算产生的背景、概念、基本原理和体系结构，然后以Google系统为例详细阐述了云计算的实现机制。云计算是并行计算、分布式计算和网格计算等计算机科学概念的商业实现。Google拥有自己云计算平台，提供了云计算的实现机制和... 先介绍了云计算产生的背景、概念、基本原理和体系结构，然后以Google系统为例详细阐述了云计算的实现机制。云计算是并行计算、分布式计算和网格计算等计算机科学概念的商业实现。Google拥有自己云计算平台，提供了云计算的实现机制和基础构架模式。该文阐述了Google云计算平台：GFS分布式文件、分布式数据库BigTable及Map／Reduce编程模式。最后分析了云计算发展所面临的挑战。 展开更多
关键词 云计算 集群 谷歌文件系统 大表 映射/化简
下载PDF
Hadoop下的分布式搜索引擎 被引量：15
9
作者 胡彧 封俊 《计算机系统应用》 2010年第7期224-228,共5页
分析了Hadoop系统结构,提出一种改进的PageRank算法,使用Map/Reduce模式设计系统模块。实验证明,使用Hadoop框架能够设计出具有高性能、高可靠性和易扩展性的分布式搜索引擎。
关键词 HADOOP PAGERANK map/reduce 分布式搜索引擎
下载PDF
基于Hadoop的分布式搜索引擎关键技术 被引量：15
10
作者 王俊生 施运梅 张仰森 《北京信息科技大学学报（自然科学版）》 2011年第4期53-56,61,共5页
实现了基于Hadoop的分布式搜索引擎,着重讨论了实现分布式搜索引擎涉及的3个关键性技术:索引表的建立、分词的处理和索引前的预处理。通过实验对比了集中式搜索引擎和分布式搜索引擎,结果表明了基于hadoop的分布式搜索引擎在处理数据方... 实现了基于Hadoop的分布式搜索引擎,着重讨论了实现分布式搜索引擎涉及的3个关键性技术:索引表的建立、分词的处理和索引前的预处理。通过实验对比了集中式搜索引擎和分布式搜索引擎,结果表明了基于hadoop的分布式搜索引擎在处理数据方面强劲的优势。 展开更多
关键词 HADOOP 分布式搜索引擎 map/reduce 索引表 分词
下载PDF
基于MapReduce的Web日志挖掘 被引量：15
11
作者 李彬 刘莉莉 《计算机工程与应用》 CSCD 2012年第22期95-98,共4页
针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建Ha... 针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建Hadoop平台,利用该算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,充分利用了集群系统的分布式计算能力处理大量的Web日志文件,可以大大地提高Web数据挖掘的效率。 展开更多
关键词 云计算 map/reduce HADOOP平台 WEB日志挖掘 蚁群算法
下载PDF
基于Hadoop的校园云计算系统 被引量：14
12
作者 曹风兵 吴开贵 吴长泽 《计算机系统应用》 2011年第6期6-11,5,共7页
针对传统的海量数据处理方法硬件成本太高,并行程序编写困难的缺点,在云计算理论的基础上设计了一个用于处理海量数据的校园云计算系统。此云计算系统是在Hadoop分布式计算框架的基础上采用Map-Reduce编程模型实现对海量数据的并行处理... 针对传统的海量数据处理方法硬件成本太高,并行程序编写困难的缺点,在云计算理论的基础上设计了一个用于处理海量数据的校园云计算系统。此云计算系统是在Hadoop分布式计算框架的基础上采用Map-Reduce编程模型实现对海量数据的并行处理,有效解决了成本问题,降低了并行编程的难度。 展开更多
关键词 云计算 分布式计算 海量数据 HADOOP map-reduce
下载PDF
基于云计算的物联网数据挖掘 被引量：15
13
作者 张海江 赵建民 +1 位作者 朱信忠 徐慧英 《微型电脑应用》 2012年第6期10-13,共4页
物联网是一个巨大的、分布广泛的物与物相连的网络,其上产生的海量数据通常是与时间和空间相关的,具有动态、异构、分布的特性,因此对这些数据的挖掘非常困难,而且耗费时间和内存,效率低下。为了解决这些问题,提出了一种基于云计算的物... 物联网是一个巨大的、分布广泛的物与物相连的网络,其上产生的海量数据通常是与时间和空间相关的,具有动态、异构、分布的特性,因此对这些数据的挖掘非常困难,而且耗费时间和内存,效率低下。为了解决这些问题,提出了一种基于云计算的物联网数据挖掘系统:将这些海量数据转化为PML数据文件,并存储在HDFS中,同时把挖掘任务分配到多台节点服务器上并行处理。采用Hadoop平台,将关联规则Apriori算法Map/Reduce化,提高了挖掘的效率。另外,采用副本策略将计算向存储迁移,将失效节点的计算迁移到副本数据存储节点就地执行,降低了数据传输的时间,大为提高了挖掘的效率。 展开更多
关键词 云计算 物联网 数据挖掘 map/reduce 关联规则 副本策略
下载PDF
基于云计算的空间信息服务系统研究 被引量：16
14
作者 周红伟 李琦 《计算机应用研究》 CSCD 北大核心 2011年第7期2586-2588,共3页
随着空间信息产业的发展,空间信息服务的需求越来越多,系统的可扩展性、可靠性和可用性的要求越来越高,为此提出了一种基于云计算的空间信息服务系统。系统的设计遵循应用即服务的思想,采用分布式文件系统、分布式数据库、并行编程模型(... 随着空间信息产业的发展,空间信息服务的需求越来越多,系统的可扩展性、可靠性和可用性的要求越来越高,为此提出了一种基于云计算的空间信息服务系统。系统的设计遵循应用即服务的思想,采用分布式文件系统、分布式数据库、并行编程模型(Map/Reduce)和工作流等技术,支持海量数据存储、资源目录和交换体系以及并行程序处理,可提供从数据到处理功能的一体化服务。最后以植被净初级生产力计算服务为例,对系统设计和关键技术进行了验证。实验证明,本系统具有可行性,能满足空间信息服务的多种需求。 展开更多
关键词 空间信息服务 云计算 应用即服务 映射/归并 一体化服务
下载PDF
基于Map／Reduce的改进选择算法在云计算的Web数据挖掘中的研究 被引量：13
15
作者 方少卿 周剑 张明新 《计算机应用研究》 CSCD 北大核心 2013年第2期377-379,395,共4页
针对目前在搜索方面的数据量大、搜索延迟的特点,提出了基于云计算的Web挖掘的搜索模型。采用提出的基于Map/Reduce模型的改进型算法,通过仿真实验验证了该算法的可行性,在一定程度上减少了搜索的代价,提高了搜索效率。
关键词 云计算 WEB数据挖掘 map reduce
下载PDF
基于关联规则的网络信息内容安全事件发现及其Map-Reduce实现 被引量：13
16
作者 葛琳 季新生 江涛 《电子与信息学报》 EI CSCD 北大核心 2014年第8期1831-1837,共7页
针对网络中信息内容安全事件的发现问题,该文提出一种基于关联规则的多维度用户行为特征关联分析法;对于存在的虚警问题,提出了基于邦弗朗尼校正的检验准则;为满足在海量数据中的应用需求,提出了一种Map-Reduce框架下的分布式幂集Aprior... 针对网络中信息内容安全事件的发现问题,该文提出一种基于关联规则的多维度用户行为特征关联分析法;对于存在的虚警问题,提出了基于邦弗朗尼校正的检验准则;为满足在海量数据中的应用需求,提出了一种Map-Reduce框架下的分布式幂集Apriori算法。实验结果表明,该文提出的方法及相应算法,并行运算能力强,在低虚警率和漏检率的情况下,具有较好的检测率,且运行时间短,收敛速度快。 展开更多
关键词 网络安全 关联规则 信息内容安全事件 APRIORI算法 邦弗朗尼校正 map-reduce
下载PDF
基于Hadoop农业大数据管理平台的设计 被引量：12
17
作者 文燕 《计算机系统应用》 2017年第5期74-79,共6页
信息技术的高速发展使得每天的数据量以TB级速度暴增,如何有效利用和管理这些爆炸式增长的大数据呢?是当前亟待处理的问题.大数据已经渗透到包括农业领域在内的各个领域,随着农业信息化建设以及物联网技术在农业生产中的应用,产生了海... 信息技术的高速发展使得每天的数据量以TB级速度暴增,如何有效利用和管理这些爆炸式增长的大数据呢?是当前亟待处理的问题.大数据已经渗透到包括农业领域在内的各个领域,随着农业信息化建设以及物联网技术在农业生产中的应用,产生了海量的农业大数据待存储、管理和处理.本文以成都农业科技职业学院彭州葛仙山农业示范基地的农业信息化建设为背景,根据农业物联网和信息化建设要求,构建高性能基于Hadoop农业大数据管理的平台,实现农业大数据的安全可靠存储、智能管理与应用,最终达到对农业生产的智能预警、智能决策和智能分析的目的,并为农户提供专业的指导.为我国进入精细化种植、精准化控制、可视化管理、智能化决策的智慧农业时代奠定基础. 展开更多
关键词 农业大数据 HADOOP map/reduce HDFS 智慧农业
下载PDF
基于云计算的电力数据在线安全分析并行化 被引量：13
18
作者 莫勇 张海燕 《控制工程》 CSCD 北大核心 2017年第4期823-828,共6页
提出了一种云计算环境下的电力数据在线安全分析并行化新方法,提出了该方法的电力数据分析的数学模型、子任务划分的方式;算法采用MapReduce编程平台,利用Hadoop的HDFS(Hadoop Distributed File System)来存储大容量的电网数据;描述了Ma... 提出了一种云计算环境下的电力数据在线安全分析并行化新方法,提出了该方法的电力数据分析的数学模型、子任务划分的方式;算法采用MapReduce编程平台,利用Hadoop的HDFS(Hadoop Distributed File System)来存储大容量的电网数据;描述了MapReduce的电力数据并行处理的工作机制与流程;通过Map和Reduce这种主-从编程模式很方便使电力在线安全分析的子任务在Hadoop的PC集群上运行。IEEE118节点的电网作为电力数据在线安全分析的电网数据,测试结果表明:针对大规模电力系统在线安全分析快速计算需求,该方法具有较好的执行时间与加速比。 展开更多
关键词 云计算 潮流计算 mapreduce 安全分析 电力系统 并行处理
下载PDF
基于双混沌系统的大数据环境并行加密算法设计 被引量：11
19
作者 司红伟 钟国韵 《计算机测量与控制》 2015年第7期2475-2477,2481,共4页
为了克服大数据在采用串行加密方式时具有的加密效率低的问题,设计了一种基于双混沌系统的大数据环境的并行加密算法;首先,设计了基于Map-Reduce的大数据环境的并行加密模型;然后,引入了改进的Logistic映射和Tent映射构成双混沌系统,并... 为了克服大数据在采用串行加密方式时具有的加密效率低的问题,设计了一种基于双混沌系统的大数据环境的并行加密算法;首先,设计了基于Map-Reduce的大数据环境的并行加密模型;然后,引入了改进的Logistic映射和Tent映射构成双混沌系统,并设计了Map函数、Sort函数和Reduce函数实现并行加密,在Map函数中通过Logistic映射和Tent映射的不断迭代计算加密密钥或解密密钥,在Sort函数对由Map函数输出的键值对进行排序并剔除重复的数据块,在Reduce函数中对加密后的密文数据块或解密后的明文数据块进一步合并构成输出数据;仿真实验表明:文中设计的基于双混沌系统的Map-Reduce并行加密模型能高效地进行数据加密或解密,能提高数据安全性和加密效率,具有较强的可行性。 展开更多
关键词 混沌系统 并行加密 大数据环境 map-reduce
下载PDF
基于云计算的数据挖掘系统设计与实现 被引量：10
20
作者 王晓妮 段群 韩建刚 《计算机技术与发展》 2019年第3期178-182,共5页
为了解决数据出现指数式增长所导致的海量数据与传统数据挖掘系统计算能力有限的矛盾日益尖锐这个问题,提出了一种将云计算技术和数据挖掘有机结合的解决方案。通过采用Map/Reduce这种能够处理大量半结构化数据集合的并行编程模型方法,... 为了解决数据出现指数式增长所导致的海量数据与传统数据挖掘系统计算能力有限的矛盾日益尖锐这个问题,提出了一种将云计算技术和数据挖掘有机结合的解决方案。通过采用Map/Reduce这种能够处理大量半结构化数据集合的并行编程模型方法,将云计算技术融入海量数据挖掘过程中,设计并实现了基于云计算的数据挖掘系统。通过对高校师生在图书馆的电子文献资料查阅日志数据集的挖掘分析,对该系统的性能进行了测试,表明该系统能够实现根据用户需求为其提供即时服务。实验结果表明,该系统的运行效率和挖掘速度均高于单机系统,而且随着数据量的增加,挖掘效率的优势愈发明显。故该系统能够满足用户需求,可以有效解决传统数据挖掘系统中的技术瓶颈。 展开更多
关键词 云计算 数据挖掘 海量数据 map/reduce
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 14 下一页 到第 页
使用帮助 返回顶部