基于云平台的MPI研究与应用 被引量：4

1

作者 商娟叶 《电子设计工程》 2015年第16期175-177,181,共4页

为满足信息化处理需求的增长,提出MPI在云计算领域的应用研究。文章在介绍了云计算的优势、MPI概念的基础上,将MPI并行程序与并行机群系统及云计算平台整合在一起,借助Hadoop框架,充分利用Map Reduce模式来实现并行化云计算对应的MPI算... 为满足信息化处理需求的增长,提出MPI在云计算领域的应用研究。文章在介绍了云计算的优势、MPI概念的基础上,将MPI并行程序与并行机群系统及云计算平台整合在一起,借助Hadoop框架,充分利用Map Reduce模式来实现并行化云计算对应的MPI算法。研究结果分析表明,该算法是可行的,可有效提高MPI并行处理的性能。 展开更多

关键词 云平台 并行处理 消息传递接口 Hadoop架构 mapreduce模式

下载PDF 职称材料

基于MapReduce离散萤火虫群优化算法的服务选择方法 被引量：2

2

作者 胡鹏威 倪志伟 +1 位作者 伍章俊 张霖 《计算机工程》 CAS CSCD 北大核心 2018年第1期211-218,225,共9页

针对云计算环境下求解大规模的Web服务选择问题,提出基于MapReduce模式的并行离散萤火虫群优化算法。该算法重新定义个体的编码,计算个体间的距离,改进位置更新,提高高维空间中的搜索能力,并采用分群分治思想和理想点方法进行优化,以避... 针对云计算环境下求解大规模的Web服务选择问题,提出基于MapReduce模式的并行离散萤火虫群优化算法。该算法重新定义个体的编码,计算个体间的距离,改进位置更新,提高高维空间中的搜索能力,并采用分群分治思想和理想点方法进行优化,以避免过早陷入局部最优,提高处理大规模问题的能力。实验结果表明,该算法在求解服务选择问题上具有可行性和有效性,且扩展性较好。 展开更多

关键词 服务选择 服务质量全局最优 mapreduce模式 离散萤火虫群优化算法 分群分治

下载PDF 职称材料

基于MapReduce模式的大数据分布式计算态势分析 被引量：3

3

作者 郑钤 《通讯世界》 2018年第6期102-104,共3页

分布式计算技术的发展导致互联网中积聚了一定的信息,如何对这些一定数据展开搜集、筛选以及处理成为一个关键的课题。在此背景下,简单易用的MapReduce已经成为目前专门处理海量数据的、具有高可靠性的、分布式的方式。在大数据背景下,... 分布式计算技术的发展导致互联网中积聚了一定的信息,如何对这些一定数据展开搜集、筛选以及处理成为一个关键的课题。在此背景下,简单易用的MapReduce已经成为目前专门处理海量数据的、具有高可靠性的、分布式的方式。在大数据背景下,本文以MapReduce计算模式的发展态势为研究对象,着重分析了该模式下的国内外研究现状,并且展望了该领域的发展态势。 展开更多

关键词 分布式计算 大数据 mapreduce模式

下载PDF 职称材料

警用勤务系统中海量GIS数据处理优化与实践

4

作者 向谭先 艾珂 《城市勘测》 2016年第1期65-67,共3页

随着空间位置的警用勤务考核业务需求的深入应用,传统的通过空间轨迹的历史数据进行查询、分析、统计已经无法满足当前的业务要求。传统方案存在占用磁盘空间大、冗余数据多、查询效率低等问题。故此,引入Map Reduce大数据的处理办法,... 随着空间位置的警用勤务考核业务需求的深入应用,传统的通过空间轨迹的历史数据进行查询、分析、统计已经无法满足当前的业务要求。传统方案存在占用磁盘空间大、冗余数据多、查询效率低等问题。故此,引入Map Reduce大数据的处理办法,针对需要勤务统计的内容、方式进行实时规约、映射,并存储规约结果,再结合信度校验机制,为勤务统计提供更直接准确的数据来源。新方法极大地提高了查询效率,并使用合理的数据失效机制,减少了硬盘存储空间的占用和数据冗余。 展开更多

关键词 mapreduce模式 PGIS 信度校验机制 勤务考核

下载PDF 职称材料

基于浏览器插件技术的数据云存储功能的研究

5

作者 夏立国 潘竹生 《现代计算机（中旬刊）》 2012年第4期11-14,19,共5页

互联网技术的发展,使得用户对于数据的存储和管理的方式有了越来越高的要求。云存储技术的日渐成熟,对于这个问题也有了更优的解决方案。借助插件技术对浏览器的功能扩展,再结合云存储技术,数据的管理将更为简洁、方便。通过设计一个基... 互联网技术的发展,使得用户对于数据的存储和管理的方式有了越来越高的要求。云存储技术的日渐成熟,对于这个问题也有了更优的解决方案。借助插件技术对浏览器的功能扩展,再结合云存储技术,数据的管理将更为简洁、方便。通过设计一个基于插件技术的具有网络云存储功能的收藏夹应用模型,来阐述和介绍插件技术和云存储技术的相关应用前景。通过开发这种应用,这将影响很多用户的上网习惯,提高他们的工作效率。 展开更多

关键词 浏览器插件技术 云存储 COM组件 Hadoop框架 mapreduce模式 DFS

下载PDF 职称材料

基于Hadoop平台的日志分析模型 被引量：14

6

作者 于兆良 张文涛 +2 位作者 葛慧 艾伟 孙运乾 《计算机工程与设计》 北大核心 2016年第2期338-344,428,共8页

为提高企业网络内海量日志数据的分析效率,构建基于Hadoop平台的日志分析模型。对模型框架进行总体设计,提出一种MapReduce编程模式的Apriori并行化算法,基于该算法对历史日志进行数据挖掘分析,计算用户行为的频繁模式,建立用户正常行... 为提高企业网络内海量日志数据的分析效率,构建基于Hadoop平台的日志分析模型。对模型框架进行总体设计,提出一种MapReduce编程模式的Apriori并行化算法,基于该算法对历史日志进行数据挖掘分析,计算用户行为的频繁模式,建立用户正常行为规则库,将实时日志与规则库中的规则进行模式匹配,实现对用户异常行为的检测。实验结果表明,该模型算法明显提高了日志分析效率。 展开更多

关键词 HADOOP平台 日志分析 mapreduce编程模式 APRIORI算法 数据挖掘 并行化

下载PDF 职称材料

改进的FP-Growth算法及其分布式并行实现 被引量：13

7

作者 马月坤 刘鹏飞 +2 位作者 张振友 孙燕 丁铁凡 《哈尔滨理工大学学报》 CAS 北大核心 2016年第2期20-27,共8页

针对传统FP-Growth算法在大规模数据环境下挖掘效率低下的问题,提出了一种改进的FP-Growth算法.该算法主要是通过基于频繁闭项集策略对完备模式树进行剪枝进而减小搜索空间规模,达到提高算法挖掘效率的目的 .并将改进后的FP-Growth算法... 针对传统FP-Growth算法在大规模数据环境下挖掘效率低下的问题,提出了一种改进的FP-Growth算法.该算法主要是通过基于频繁闭项集策略对完备模式树进行剪枝进而减小搜索空间规模,达到提高算法挖掘效率的目的 .并将改进后的FP-Growth算法的分治策略与分布式计算框架Hadoop的MapReduce编程模式有机结合,进一步提高了大数据环境下的挖掘效率.实验证明,基于Hadoop的改进FP-Growth算法的效率较传统FP-Growth算法有所提高. 展开更多

关键词 分布式并行 改进FP-Growth算法 剪枝 mapreduce编程模式

下载PDF 职称材料

求解多维背包问题的MapReduce蚁群优化算法 被引量：10

8

作者 王会颖 倪志伟 吴昊 《计算机工程》 CAS CSCD 2013年第4期248-253,共6页

应用MapReduce编程模式实现蚁群优化算法的并行化计算,提出基于MapReduce的改进背包问题蚁群算法。通过改进概率计算时机、轮盘赌、交叉、变异等技术,降低蚁群算法的计算复杂度。在云计算环境中应用该算法分布式并行地求解大规模多维背... 应用MapReduce编程模式实现蚁群优化算法的并行化计算,提出基于MapReduce的改进背包问题蚁群算法。通过改进概率计算时机、轮盘赌、交叉、变异等技术,降低蚁群算法的计算复杂度。在云计算环境中应用该算法分布式并行地求解大规模多维背包问题,仿真实验结果表明,该算法能改善蚁群算法搜索时间长的缺陷,增强对大规模问题的处理能力。 展开更多

关键词 云计算 mapreduce编程模式 蚁群优化算法 多维背包问题 遗传算法 群体智能

下载PDF 职称材料

Hadoop平台下的并行Web日志挖掘算法 被引量：6

9

作者 周诗慧 殷建 《计算机工程》 CAS CSCD 2013年第6期43-46,共4页

当面对海量数据时,基于单一节点的Web数据挖掘存在时间和空间效率上的瓶颈。针对该问题,提出一种在Hadoop平台下实现Web日志挖掘的并行FP-growth算法,利用Hadoop分布式文件系统和MapReduce并行计算模型处理日志文件。实验结果表明,该算... 当面对海量数据时,基于单一节点的Web数据挖掘存在时间和空间效率上的瓶颈。针对该问题,提出一种在Hadoop平台下实现Web日志挖掘的并行FP-growth算法,利用Hadoop分布式文件系统和MapReduce并行计算模型处理日志文件。实验结果表明,该算法的加速比能随着数据集的增大而提高,其执行效率优于串行FP-growth算法。 展开更多

关键词 Hadoop框架 WEB挖掘 WEB日志 mapreduce编程模式 HADOOP分布式文件系统 并行FP-growth算法

下载PDF 职称材料

基于MapReduce的最小二乘支持向量机回归模型 被引量：4

10

作者 代亮 许宏科 +2 位作者 陈婷 钱超 梁殿鹏 《计算机应用研究》 CSCD 北大核心 2015年第4期1060-1064,共5页

针对最小二乘支持向量机处理大规模数据集耗时长且受内存限制的特点,将局部多模型方法与MapReduce编程模式相结合,提出一种并行最小二乘支持向量机回归模型。模型由两组MapReduce过程组成,首先按照输入样本集对样本数据进行聚类操作,再... 针对最小二乘支持向量机处理大规模数据集耗时长且受内存限制的特点,将局部多模型方法与MapReduce编程模式相结合,提出一种并行最小二乘支持向量机回归模型。模型由两组MapReduce过程组成,首先按照输入样本集对样本数据进行聚类操作,再对聚类后得到的子类按输出样本集进行二次聚类操作,分别得到局部模型数目和各局部模型综合加权输出计算结果。实验结果表明,并行最小二乘支持向量机回归模型具有较好的加速比和可扩展性。 展开更多

关键词 最小二乘支持向量机 mapreduce编程模式 局部多模型方法 加速比 可扩展性

下载PDF 职称材料

基于Hadoop集群的多表并行关联算法及应用 被引量：2

11

作者 郑晓薇 马琳 《微型机与应用》 2013年第4期91-93,共3页

针对因特网环境下并行数据库实现多个大数据表关联存在的计算瓶颈,基于Hadoop集群设计了一个并行关联多个大数据表的简便算法MR_Join。以商业网站凡客诚品的销售数据为例进行实验,验证算法的可行性并做出应用实例。实验结果表明,MR_Joi... 针对因特网环境下并行数据库实现多个大数据表关联存在的计算瓶颈,基于Hadoop集群设计了一个并行关联多个大数据表的简便算法MR_Join。以商业网站凡客诚品的销售数据为例进行实验,验证算法的可行性并做出应用实例。实验结果表明,MR_Join算法可以有效地实现大数据表的快速关联,具有显著的并行效率。 展开更多

关键词 HADOOP集群 mapreduce编程模式 MR_Join算法 数据表并行关联

下载PDF 职称材料

云计算环境下鱼群算法的研究

12

作者 王会颖 《电脑知识与技术》 2012年第6X期4486-4489,4497,共5页

人工鱼群算法(AFSA)是一新型仿生优化算法,已成功地应用于求解很多组合优化难题。但人工鱼群算法对这些问题的求解主要是在集中式串行的环境下,而云计算环境下应用人工鱼群算法分布式并行对问题进行求解的研究很少。该文应用云计算技术... 人工鱼群算法(AFSA)是一新型仿生优化算法,已成功地应用于求解很多组合优化难题。但人工鱼群算法对这些问题的求解主要是在集中式串行的环境下,而云计算环境下应用人工鱼群算法分布式并行对问题进行求解的研究很少。该文应用云计算技术将人工鱼群算法并行化,将人工鱼群算法和遗传算法融合,显著提高了算法求得全局最优解的能力。仿真实验取得了较好的结果。 展开更多

关键词 云计算 mapreduce编程模式 人工鱼群算法 遗传算法

下载PDF 职称材料

一种基于云计算的海量web数据挖掘算法 被引量：1

13

作者 张艳格 高丽燕 《中国电子商务》 2012年第18期64-65,共2页

基于单一节点的数据挖掘系统在进行海量Web数据挖掘时存在存储与计算的瓶颈，利用云计算的分布式处理优势，提出一种能够在云计算环境下进行分布式处理的基于MapReduce的PageRank算法，将云计算融入Web数据挖掘来解决Internet上广域分... 基于单一节点的数据挖掘系统在进行海量Web数据挖掘时存在存储与计算的瓶颈，利用云计算的分布式处理优势，提出一种能够在云计算环境下进行分布式处理的基于MapReduce的PageRank算法，将云计算融入Web数据挖掘来解决Internet上广域分布的海量数据挖掘问题。 展开更多

关键词 云计算 WEB数据挖掘 mapreduce编程模式 PAGERANK算法

下载PDF 职称材料