期刊文献+
共找到23篇文章
< 1 2 >
每页显示 20 50 100
数据密集型计算编程模型研究进展 被引量:39
1
作者 王鹏 孟丹 +1 位作者 詹剑锋 涂碧波 《计算机研究与发展》 EI CSCD 北大核心 2010年第11期1993-2002,共10页
作为一种新兴的计算模式,云计算受到了学术界和产业界的广泛关注.云计算以互联网服务和应用为中心,服务提供者需要存储和分析海量数据.为了能够低成本高效率地处理Web量级数据,主要的互联网公司都在由商品化服务器组成的大规模集群系统... 作为一种新兴的计算模式,云计算受到了学术界和产业界的广泛关注.云计算以互联网服务和应用为中心,服务提供者需要存储和分析海量数据.为了能够低成本高效率地处理Web量级数据,主要的互联网公司都在由商品化服务器组成的大规模集群系统上研发了分布式编程系统.编程模型可以降低开发人员在大规模集群上编程的难度,并让程序充分利用集群资源,但设计这样的编程模型面临巨大挑战.首先说明了数据密集型计算的特点,并指出了编程模型要解决的基本问题;接着深入介绍了国际上代表性的编程模型,并对这些编程模型的特点进行了比较和分析;最后对当前所面临的问题和今后的发展趋势进行了总结和展望. 展开更多
关键词 云计算 数据密集型计算 编程模型 数据并行 海量数据处理 MAPREDUCE
下载PDF
基于云计算的数据管理技术研究 被引量:7
2
作者 盖玉莲 《电子设计工程》 2015年第6期71-74,77,共5页
从云计算和互联网发展关系的角度出发,借鉴传统数据管理技术的理念和优势,以实现研究、设计和开发新的基于云计算的数据管理技术的目的。通过对云计算的服务器虚拟技术、数据分布存储技术、海量数据管理技术和分布式并行编程模型4个关... 从云计算和互联网发展关系的角度出发,借鉴传统数据管理技术的理念和优势,以实现研究、设计和开发新的基于云计算的数据管理技术的目的。通过对云计算的服务器虚拟技术、数据分布存储技术、海量数据管理技术和分布式并行编程模型4个关键技术的剖析,结合云计算对数据管理的特殊需求,详细阐述了GFS、Map Reduce和Big Table3种数据管理技术的功能、特点和管理数据的过程。证明云计算数据管理技术基础理论建设与完善是传统数据管理技术向云计算管理方式的改造与迁移。 展开更多
关键词 云计算 数据密集型计算 数据管理技术 GFS Map Reduce BIG TABLE
下载PDF
消息代理机制下的MapReduce数据流优化 被引量:5
3
作者 葛君伟 蒋仙 方义秋 《计算机工程与应用》 CSCD 2013年第5期120-122,262,共4页
MapReduce编程模型是广泛应用于云计算环境下处理海量数据的一种并行计算框架。然而该框架下的面向数据密集型计算,集群节点间的数据传输依赖性较强,造成节点间的消息处理负载过重。提出基于消息代理机制的MapReduce改进模型,优化数据... MapReduce编程模型是广泛应用于云计算环境下处理海量数据的一种并行计算框架。然而该框架下的面向数据密集型计算,集群节点间的数据传输依赖性较强,造成节点间的消息处理负载过重。提出基于消息代理机制的MapReduce改进模型,优化数据流。经实验数据表明,基于消息代理机制的MapReduce框架能提高数据密集型应用上的负载均衡。 展开更多
关键词 消息代理 MAPREDUCE 数据密集型计算 数据流
下载PDF
数据密集型计算的遥感图像预处理方法 被引量:2
4
作者 周兵 刘晓楠 +1 位作者 臧文乾 陈恒 《计算机系统应用》 2017年第4期22-28,共7页
针对大数据时代,数据密集型计算已经成为国内外的一个研究热点.遥感数据具有多源化、海量化特点,是名副其实的大数据.研究适用于遥感影像自动化、业务化处理的数据密集型计算方法,是目前遥感应用技术面临的挑战所面临的挑战,本文提出了... 针对大数据时代,数据密集型计算已经成为国内外的一个研究热点.遥感数据具有多源化、海量化特点,是名副其实的大数据.研究适用于遥感影像自动化、业务化处理的数据密集型计算方法,是目前遥感应用技术面临的挑战所面临的挑战,本文提出了一种基于数据密集型计算的遥感图像处理方法.在文中,首先围绕遥感数据自动化、业务化预处理等问题,深入调查和分析了国内外研究现状,进而介绍了系统体系结构,通过工作流灵活组织多种算法模型协同工作,设计以"5并行1加速"的计算体系解决数据密集型的遥感图像预处理,并通过产品生产实例对其性能进行测试.结果表明,该系统在保证处理精度的前提下,大大提高了遥感大数据预处理的效率. 展开更多
关键词 遥感数据 遥感预处理 数据密集型计算 并行计算 5并行1加速 工作流
下载PDF
高能物理实验的数据密集型计算 被引量:1
5
作者 陈和生 陈刚 《中国科学院院刊》 2013年第4期491-500,共10页
高能物理一直是信息技术发展的主要推动者之一。现代高能物理产生的海量数据对计算机技术提出巨大的挑战。为了应对这些挑战,国内外高能物理领域的科学家根据数据处理的特点建立新的计算平台用于传输、储存及分析处理PB量级的数据。文... 高能物理一直是信息技术发展的主要推动者之一。现代高能物理产生的海量数据对计算机技术提出巨大的挑战。为了应对这些挑战,国内外高能物理领域的科学家根据数据处理的特点建立新的计算平台用于传输、储存及分析处理PB量级的数据。文章介绍了现代高能物理实验及数据处理的发展,并描述了高能物理的计算模型以及以网格技术为代表的数据密集型计算平台;详细介绍了数据密集型网格平台在LHC实验、BESIII实验中的应用以及中国的数据密集型网格平台。并对云计算等新技术在高能物理领域的应用进行了展望。 展开更多
关键词 高能物理 大数据 数据密集型计算 网格 云计算
原文传递
ECluster:一种面向数据密集计算的弹性集群 被引量:1
6
作者 段赵磊 朱会东 《微电子学与计算机》 CSCD 北大核心 2013年第2期113-116,共4页
提出一种面向数据密集计算的弹性集群ECluster,并以Web Cache服务为例,研究弹性集群的性能指标和资源调度策略.弹性集群将云计算提供的可按需获取的资源与数据密集计算系统中的本地资源结合使用,当本地资源不足时获取云计算资源,动态调... 提出一种面向数据密集计算的弹性集群ECluster,并以Web Cache服务为例,研究弹性集群的性能指标和资源调度策略.弹性集群将云计算提供的可按需获取的资源与数据密集计算系统中的本地资源结合使用,当本地资源不足时获取云计算资源,动态调整数据密集计算系统中的资源供给.实验结果表明,与传统数据密集计算系统相比较,弹性集群能够有效保证数据密集计算系统的系统性能和资源利用效率. 展开更多
关键词 数据密集计算 云计算 弹性集群 负载均衡
下载PDF
数据密集型网格平台示范站点与应用 被引量:1
7
作者 陈刚 程耀东 《科研信息化技术与应用》 2011年第1期49-59,共11页
高能物理一直是计算机技术发展与应用的先驱者。随着大型强子对撞机LHC和北京正负电子对撞机BEPCII等新一代高能物理实验开始运行,网格计算已经成为高能物理研究的重要工具。世界各地的大批科研单位参与了国际高能物理网格系统的建设。... 高能物理一直是计算机技术发展与应用的先驱者。随着大型强子对撞机LHC和北京正负电子对撞机BEPCII等新一代高能物理实验开始运行,网格计算已经成为高能物理研究的重要工具。世界各地的大批科研单位参与了国际高能物理网格系统的建设。高能物理网格不仅成功地为国际高能物理提供分布式高性能计算服务,同时还成为大量非高能物理领域采用的科学计算平台。在中国科学院、国家自然科学基金委及科技部的支持下,高能物理研究所建立了一个数据密集型网格平台站点并加入了国际高能物理网格。数据密集型网格站点目前由1600个CPU内核的集群和600TB的磁盘存储组成,与欧洲和北美的高速网络带宽分别达到1Gbps和622Mbps,每年提供数百万CPU小时的计算服务,支持的应用包括高能物理、天体物理与宇宙线物理、生物信息以及地球动力学等等。高能物理研究所还帮助国内的若干大学和研究所建立了网格站点,形成国内跨地域的网格平台。 展开更多
关键词 网格 数据密集型计算 高能物理 中间件 计算平台
原文传递
利用与知识有关的资源分配策略提高数据密集计算的性能
8
作者 周智刚 《小型微型计算机系统》 CSCD 北大核心 2011年第8期1639-1642,共4页
提出与描述了一种以服务为中心的基础设施环境下的资源分配策略,该方法运用与知识有关(Knowledge-Based)的方式,充分考虑了应用具体相关的信息,只需要少量的人工输入操作,就可以解决云计算系统中寻找低延迟和高信任度的最优虚拟机问题.... 提出与描述了一种以服务为中心的基础设施环境下的资源分配策略,该方法运用与知识有关(Knowledge-Based)的方式,充分考虑了应用具体相关的信息,只需要少量的人工输入操作,就可以解决云计算系统中寻找低延迟和高信任度的最优虚拟机问题.原型系统由两个关键部分组成:预测引擎与资源搜索算法.预测引擎使用了一个轻量级的模拟器来预测给定的资源分配策略的性能;使用一种类似基因比对的资源搜索算法来完成在大规模搜索空间中寻找最合适的资源.测试过程选择了Ma-pReduce编程模式的数据密集计算问题,结果表明本文的资源分配策略与简单的资源分配策略比较起来,可以减少大约30%的作业执行时间. 展开更多
关键词 知识有关的调度 资源分配 MAPREDUCE 服务计算 数据密集计算
下载PDF
计算密集型体系集成DDR SDRAM控制器设计 被引量:3
9
作者 江先阳 刘新春 +2 位作者 张佩珩 孙凝晖 徐志伟 《计算机工程与科学》 CSCD 2006年第3期96-97,101,共3页
文章介绍了计算密集型体系解决存储器访问瓶颈的研究趋势。针对计算密集型体系的高数据访存需求,提出并在FPGA上实现了一种集成的DDR SDRAM控制器,其关键部分为固化初始化系列和专有的定制系统总线。仿真结果和分析表明,该控制器解决了... 文章介绍了计算密集型体系解决存储器访问瓶颈的研究趋势。针对计算密集型体系的高数据访存需求,提出并在FPGA上实现了一种集成的DDR SDRAM控制器,其关键部分为固化初始化系列和专有的定制系统总线。仿真结果和分析表明,该控制器解决了计算密集型体系的数据访问瓶颈。 展开更多
关键词 计算密集型体系 DDR SDRAM控制器 FPGA 仿真
下载PDF
E-Science环境中研究图书馆的新角色:科学数据管理 被引量:59
10
作者 崔宇红 《图书馆杂志》 CSSCI 北大核心 2012年第10期20-23,共4页
科学数据管理正迅速成为科学领域、图书馆学和大学图书馆的关注热点。文章介绍科学数据浪潮和数据密集型计算的新型研究范式,阐述了e-Science环境下数据管理的概念演变和科学内涵,从生命周期的角度理解科学数据管理统一连续体的作用边界... 科学数据管理正迅速成为科学领域、图书馆学和大学图书馆的关注热点。文章介绍科学数据浪潮和数据密集型计算的新型研究范式,阐述了e-Science环境下数据管理的概念演变和科学内涵,从生命周期的角度理解科学数据管理统一连续体的作用边界,重点探讨研究图书馆的未来角色,旨在引发和推动国内图书馆界尽快开展相应的研究和实践。 展开更多
关键词 科学数据管理 数据密集型计算 统一连续体
下载PDF
对地观测大数据处理:挑战与思考 被引量:52
11
作者 何国金 王力哲 +5 位作者 马艳 张兆明 王桂周 彭燕 龙腾飞 张晓美 《科学通报》 EI CAS CSCD 北大核心 2015年第5期470-478,共9页
通过航天航空飞行器搭载的传感器对地球进行观测可以获得地球全面而系统的信息.随着空间信息技术的高速发展,对地观测领域步入了大数据时代.在分析对地观测数据处理与服务的全流程及其算法的基础上,总结出"大数据时代"对地观... 通过航天航空飞行器搭载的传感器对地球进行观测可以获得地球全面而系统的信息.随着空间信息技术的高速发展,对地观测领域步入了大数据时代.在分析对地观测数据处理与服务的全流程及其算法的基础上,总结出"大数据时代"对地观测数据处理面临的挑战——"数据密集型计算"问题,并指出解决这一问题应该在系统平台、处理算法和服务模式3个方面开展创新性的研究工作. 展开更多
关键词 对地观测大数据 数据密集型计算 遥感 对地观测
原文传递
数据网格技术研究 被引量:2
12
作者 何戈 徐志伟 《微电子学与计算机》 CSCD 北大核心 2003年第4期3-9,13,共8页
数据网格是网格环境下共享和管理存储资源和分布式数据资源的大规模、可扩展的框架结构,它适应数据密集型应用对网格环境下数据共享和处理的需要,给用户提供了透明访问远程异构数据资源的机制。文章首先分析了数据网格的研究背景和设计... 数据网格是网格环境下共享和管理存储资源和分布式数据资源的大规模、可扩展的框架结构,它适应数据密集型应用对网格环境下数据共享和处理的需要,给用户提供了透明访问远程异构数据资源的机制。文章首先分析了数据网格的研究背景和设计原则,并深入研究了数据网格的关键技术,最后对现有几个较成功的数据网格研究项目进行了分析和比较。 展开更多
关键词 数据网格 数据处理 数据管理 数据访问 数据传输 广域网
下载PDF
数据密集型计算中负载均衡的数据布局方法 被引量:5
13
作者 宋杰 李甜甜 +1 位作者 闫振兴 朱志良 《北京邮电大学学报》 EI CAS CSCD 北大核心 2013年第4期76-80,共5页
广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率;节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性... 广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率;节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性为目的的数据布局研究,为此,分析了数据密集型计算和MapReduce环境中数据布局的特点,提出了负载均衡的数据布局目标,并提出在特定环境下实现负载均衡的数据布局方法,最后通过实验证明了数据布局目标和数据布局方法的有效性.理论和实验结果证明,新提出的布局方法能有效地提高MapReduce应用的并行性,优化其执行效率. 展开更多
关键词 数据密集型计算 数据布局 负载均衡 MapRedcue 云计算
原文传递
新兴高性能计算行业应用及发展战略 被引量:5
14
作者 冯圣中 李根国 +4 位作者 栗学磊 齐富民 黄典 万艺 吴金成 《中国科学院院刊》 CSSCI CSCD 北大核心 2019年第6期640-647,共8页
数据密集型新兴行业应用快速发展,是近年来高性能计算应用日益广泛和深入的主要特征。新兴高性能行业应用,在高性能计算系统技术创新、计算环境创新与应用创新等各个层面,都带来了新的挑战与机遇。文章在系统总结领域应用进展的基础上,... 数据密集型新兴行业应用快速发展,是近年来高性能计算应用日益广泛和深入的主要特征。新兴高性能行业应用,在高性能计算系统技术创新、计算环境创新与应用创新等各个层面,都带来了新的挑战与机遇。文章在系统总结领域应用进展的基础上,概括了新兴行业应用的技术特点与挑战,提出了加大高性能计算系统核心技术创新力度、构建面向新型应用的高性能计算环境、大力推进高性能应用软件研发、大力推进传统应用的新方法开发,以及大力推进大数据人工智能等新领域基准评测工具研发等发展战略建议。 展开更多
关键词 新兴行业应用 数据驱动 数据密集型计算 高性能计算
原文传递
一种面向大规模数据密集计算的缓存方法 被引量:4
15
作者 周恩强 张伟 +2 位作者 卢宇彤 侯红军 董勇 《计算机研究与发展》 EI CSCD 北大核心 2015年第7期1522-1530,共9页
随着高性能计算机逐步应用在大规模数据处理领域,存储系统将成为制约数据处理效率的主要瓶颈.在分析了影响数据密集型计算I/O性能若干关键因素的基础上,提出使用计算结点本地存储构建协作式非易失缓存、以分布式存储架构加速集中式存储... 随着高性能计算机逐步应用在大规模数据处理领域,存储系统将成为制约数据处理效率的主要瓶颈.在分析了影响数据密集型计算I/O性能若干关键因素的基础上,提出使用计算结点本地存储构建协作式非易失缓存、以分布式存储架构加速集中式存储架构的方法.该方法基于应用层协同使用分布化的本地存储资源,使用非易失存储介质构成大缓存空间,存放大规模数据分析的中间过程结果,以此实现高缓存命中率,并利用并发度约束控制等手段避免I/O竞争,充分利用本地存储的特定性能优势保证缓存加速效果,从而有效地提高了大规模数据处理过程的I/O效率.基于多平台多种I/O模式的测试结果证实了该方法的有效性,聚合I/O带宽具有高扩展性,典型数据密集应用的整体性能最大可提升6倍. 展开更多
关键词 数据密集计算 缓存 本地存储 共享存储 地震数据处理
下载PDF
面向海量数据处理的数据密集型计算发展研究 被引量:4
16
作者 李亢 刘东 《四川兵工学报》 CAS 2015年第7期93-96,共4页
随着信息技术的发展和普及,当今社会的信息量呈现出爆炸式增长的趋势,数据信息在无论是在量上还是在增长速率上均相当惊人,数据密集型计算应运而生。数据密集型计算是指获取、存储和管理大规模数据集,并基于这些数据集进行计算和分析。... 随着信息技术的发展和普及,当今社会的信息量呈现出爆炸式增长的趋势,数据信息在无论是在量上还是在增长速率上均相当惊人,数据密集型计算应运而生。数据密集型计算是指获取、存储和管理大规模数据集,并基于这些数据集进行计算和分析。概述了数据密集型计算的概念和特点,研究了数据密集型计算的数据并行和数据本地性的两个基本原理及应用情况,分析了数据密集型计算最新技术的国内外研究现状与发展趋势。 展开更多
关键词 数据密集型计算 海量数据 数据探索模式
下载PDF
MapReduce环境下的并行Dwarf立方构建 被引量:3
17
作者 师金钢 鲍玉斌 +1 位作者 冷芳玲 于戈 《计算机科学与探索》 CSCD 2011年第5期398-409,共12页
针对数据密集型应用,提出了一种基于MapReduce框架的并行Dwarf数据立方构建算法。算法将传统Dwarf立方等价分割为多个独立的子Dwarf立方,采用MapReduce架构,实现了Dwarf立方的并行构建、查询和更新。实验证明,并行Dwarf算法一方面结合了... 针对数据密集型应用,提出了一种基于MapReduce框架的并行Dwarf数据立方构建算法。算法将传统Dwarf立方等价分割为多个独立的子Dwarf立方,采用MapReduce架构,实现了Dwarf立方的并行构建、查询和更新。实验证明,并行Dwarf算法一方面结合了MapReduce框架的并行性和高可扩展性,另一方面结合了Dwarf立方结构的数据高压缩性及数据自索引性。并行Dwarf立方既实现了数据立方的高压缩存储,提供了快速的构造和增量更新操作,又克服了MapReduce机制没有索引的劣势,实现了数据立方上的快速查询操作。 展开更多
关键词 数据密集计算 MAPREDUCE DWARF 数据立方
下载PDF
分布式遥感空间在线分析处理的多维分析模型及其旱情应用 被引量:3
18
作者 李继园 孟令奎 +2 位作者 蔡阳 张文 段红伟 《测绘学报》 EI CSCD 北大核心 2014年第6期627-636,共10页
近年来,空间在线分析处理(spatial on-line analytical processing,SOLAP)技术已逐渐应用于遥感多维分析研究领域,但其计算性能仍面临大规模数据的挑战。本文借鉴数据密集型计算模式MapReduce在OLAP领域的相关应用研究,提出一种基于该... 近年来,空间在线分析处理(spatial on-line analytical processing,SOLAP)技术已逐渐应用于遥感多维分析研究领域,但其计算性能仍面临大规模数据的挑战。本文借鉴数据密集型计算模式MapReduce在OLAP领域的相关应用研究,提出一种基于该模式扩展的遥感数据SOLAP立方体模型。在数据分级分块基础上,对现有模型在分布式环境下进行了适应性改进,并在Map-Reduce支持下,通过引入多维地图代数将该模型中的SOLAP计算转化为基于栅格块粒度的并行地图代数操作。以遥感旱情应用为例阐述了模型的构建与应用过程,并实现了原型。试验结果证明了该模型在大规模数据处理情况下具有较好加速性能与可扩展性。 展开更多
关键词 空间在线分析处理 数据密集型计算 旱情监测
原文传递
面向新型处理器的数据密集型计算 被引量:3
19
作者 王鹤澎 王宏志 +3 位作者 李佳宁 孔欣欣 李建中 高宏 《软件学报》 EI CSCD 北大核心 2016年第8期2048-2067,共20页
近年来,随着数据量的不断增大,数据密集型计算任务变得日益繁重.如何能够快速、高效地实现在大规模数据集上的计算,已成为数据密集型计算的主要研究方向.最近几年,研究人员利用新型的硬件处理器对数据密集型计算进行加速处理,并针对不... 近年来,随着数据量的不断增大,数据密集型计算任务变得日益繁重.如何能够快速、高效地实现在大规模数据集上的计算,已成为数据密集型计算的主要研究方向.最近几年,研究人员利用新型的硬件处理器对数据密集型计算进行加速处理,并针对不同新型处理器的特点,设计了不同形式的加速处理算法.主要对新型硬件处理器基于数据密集型计算的研究进行了综述.首先概述了新型硬件处理器的特点;然后,分别对新型处理器FPGA和GPU等硬件进行性能分析,并分析了每种处理器对数据密集型计算的效果;最后提出了进一步的研究方向. 展开更多
关键词 FPGA GPU CPU 数据密集型计算
下载PDF
一种面向数据密集型计算环境的聚类算法 被引量:3
20
作者 钱鑫 张龙波 +2 位作者 田爱奎 邓齐志 汪金苗 《济南大学学报(自然科学版)》 CAS 北大核心 2013年第1期11-15,共5页
针对数据密集型计算环境下数据具有海量、分布、异构、高速变化等特点,分析传统的基于密度的分布式聚类(Density Base Distributed Clustering,DBDC)算法,借助MapReduce编程模型,提出一种新的分布式聚类算法,采用局部和全局的方式处理... 针对数据密集型计算环境下数据具有海量、分布、异构、高速变化等特点,分析传统的基于密度的分布式聚类(Density Base Distributed Clustering,DBDC)算法,借助MapReduce编程模型,提出一种新的分布式聚类算法,采用局部和全局的方式处理海量、异构数据,解决具有以上特点的数据密集型计算环境下数据的分析挖掘问题。得出算法的复杂度为O((nlog2n)/p),实验验证在数据量与节点数变化时算法具有较高的稳定性和可伸缩性,与原算法对比该算法具有较高的准确度。 展开更多
关键词 数据密集型计算 分布式聚类 基于密度的分布式聚类算法
下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部