高性能GIS研究进展及评述 被引量：15

1

作者 左尧 王少华 +1 位作者 钟耳顺 蔡文文 《地球信息科学学报》 CSCD 北大核心 2017年第4期437-446,共10页

互联网技术的发展使地理信息技术得到了前所未有的发展和应用,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。而随着计算机硬件性能飞速提升,传统的GIS数据处理方式并不能与之匹配,各种缺陷与弊端逐渐显现,亟待更... 互联网技术的发展使地理信息技术得到了前所未有的发展和应用,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。而随着计算机硬件性能飞速提升,传统的GIS数据处理方式并不能与之匹配,各种缺陷与弊端逐渐显现,亟待更高效的数据处理方式。目前,以并行集群计算技术和分布式网络技术为代表的高性能计算的出现,为这些问题的解决带来了新思路,并逐渐发展形成了新一代的多核并行高性能计算系统。当前,如何利用新型硬件体系结构带来的计算能力,研究新一代高性能GIS计算系统,解决现在所面临的时空数据密集和计算密集问题成为重要挑战。高性能计算是基于一组或几组计算机系统组成的集群,通过网络连接组成超级计算系统以加强数据处理、分析计算性能的一种技术。在实际应用中,逐渐形成Hadoop,Spark和Storm 3大主流分布式高性能计算系统,它们三者各具优缺点。本文从高性能GIS算法、并行GIS计算、内存计算和众核计算4个方面梳理、归纳总结了高性能GIS的技术体系,分析了每类高性能GIS技术特征,综合分析、评述了近年来高性能GIS的研究进展,并对高性能GIS未来发展进行展望,为更完备、高效的高性能GIS体系的建立、发展和应用提供参考。今后,并行GIS计算、高性能计算模式和分布式存储仍然是GIS技术领域发展的重要方向,通过高性能GIS系统可有效地解决时空数据密集、计算密集和网络通讯密集等问题,大大提升GIS地理分析效率。 展开更多

关键词 高性能GIS 高性能GIS算法 并行GIS计算 内存计算 众核计算 GIS云计算

原文传递

p-HPF并行编译系统核外计算的实现及优化策略 被引量：4

2

作者 丁文魁 汪剑平 +2 位作者 向华 李晓明 许卓群 《计算机学报》 EI CSCD 北大核心 1999年第10期1042-1049,共8页

文中阐述了ｐ－ＨＰＦ编译系统中对核外计算的支持以及采取的优化策略．通过对编程模型的扩充和并行Ｉ／Ｏ模型的构造，ｐ－ＨＰＦ编译系统已能对核外数组进行有效的处理．通过采用数据筛选、行列优先、预取、文件与数组的一一映射等优... 文中阐述了ｐ－ＨＰＦ编译系统中对核外计算的支持以及采取的优化策略．通过对编程模型的扩充和并行Ｉ／Ｏ模型的构造，ｐ－ＨＰＦ编译系统已能对核外数组进行有效的处理．通过采用数据筛选、行列优先、预取、文件与数组的一一映射等优化策略，使并行程序执行核外计算的效率得到了大幅度地提高．文中叙述了核外计算模型及其优化的设计思想与实现。 展开更多

关键词 核外计算 核外数组 数据筛选 并行编译系统

下载PDF 职称材料

非规则、核外并行计算研究综述 被引量：1

3

作者 胡长军 张纪林 +1 位作者 王珏 李建江 《小型微型计算机系统》 CSCD 北大核心 2008年第11期1969-1978,共10页

非规则、核外计算既是大规模并行应用普遍存在的问题,也是影响大规模并行应用效率的关键问题.本文从并行处理模型、运行支持库实现和并行优化三个方面对非规则、核外计算技术进行了全面综述,并对典型研究成果的特点和不足进行了分析.如... 非规则、核外计算既是大规模并行应用普遍存在的问题,也是影响大规模并行应用效率的关键问题.本文从并行处理模型、运行支持库实现和并行优化三个方面对非规则、核外计算技术进行了全面综述,并对典型研究成果的特点和不足进行了分析.如何充分利用系统结构的特点和应用数据本身的特点,寻求非规则、核外计算处理的优化是现有技术发展的共同思想.在此基础上,指出了处理两类问题的技术相关性以及在SM P集群系统结构和网络存储环境下,解决非规则、核外计算的新思路:一是从问题描述、编译优化、运行支持等多层次协同研究充分利用系统结构特点的优化技术,二是从应用问题出发,在并行粒度确定、并行范例选择等方面统一非规则、核外计算的处理,三是研究新的支持非规则通信的优化技术和动态负载均衡方法. 展开更多

关键词 非规则计算 核外计算 并行模型 综述

下载PDF 职称材料

核外计算中I／O优化策略的研究 被引量：3

4

作者 王威 胡铭曾 《哈尔滨商业大学学报（自然科学版）》 CAS 2005年第5期600-603,共4页

在大规模科学计算中,核外计算的应用越来越广泛,而核外计算时间优化的关键是I／O执行 时间的长短．通过对I/O优化方法的研究,实现了数据筛选、数据预取、数据重用三种I／O优化策略．实 验结果表明这三种优化策略均能隐藏I／O延迟,优化... 在大规模科学计算中,核外计算的应用越来越广泛,而核外计算时间优化的关键是I／O执行 时间的长短．通过对I/O优化方法的研究,实现了数据筛选、数据预取、数据重用三种I／O优化策略．实 验结果表明这三种优化策略均能隐藏I／O延迟,优化核外计算的系统性能． 展开更多

关键词 核外计算 数据筛选 数据预取 数据重用

下载PDF 职称材料

一种面向分布式系统的核外存储策略

5

作者 唐剑琪 方滨兴 胡铭曾 《计算机工程与应用》 CSCD 北大核心 2002年第23期35-36,50,共3页

核外计算是解决计算机内存不足的一种有效方法。该文面向分布式系统提出了核外存储模型,采用面向对象的方法,在工作站机群系统上实现了处理核外数组的编程接口,并且通过采取对局部数组文件分布进行优化、自适应的数据筛选和数据预取等方... 核外计算是解决计算机内存不足的一种有效方法。该文面向分布式系统提出了核外存储模型,采用面向对象的方法,在工作站机群系统上实现了处理核外数组的编程接口,并且通过采取对局部数组文件分布进行优化、自适应的数据筛选和数据预取等方法,进一步提高了核外计算性能。 展开更多

关键词 分布式系统 核外存储策略 工作站机群系统 核外数组 核外计算

下载PDF 职称材料

一种基于PVFS的并行核外计算方法

6

作者 唐剑琪 方滨兴 张宏莉 《哈尔滨工业大学学报》 EI CAS CSCD 北大核心 2006年第5期682-684,共3页

针对传统的并行核外编程复杂、虚存系统性能不理想的问题,提出一种基于PVFS的并行核外计算方法,描述了其软件层次结构、数据访问策略及实现,为工作站机群用户提供了方便的编程接口以及核外数据的全局视图.实验结果表明,该方法扩展了可... 针对传统的并行核外编程复杂、虚存系统性能不理想的问题,提出一种基于PVFS的并行核外计算方法,描述了其软件层次结构、数据访问策略及实现,为工作站机群用户提供了方便的编程接口以及核外数据的全局视图.实验结果表明,该方法扩展了可有效解决的核外问题规模,大数据量时的计算性能优于虚存系统. 展开更多

关键词 核外计算 并行文件系统 核外数组 工作站机群

下载PDF 职称材料

基于集群计算环境的核外计算调度方法研究

7

作者 周峥 许先斌 Mehmet Devec 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2013年第8期40-43,49,共5页

为了提高在集群环境中进行大规模线性核外计算时的系统外存访问效率,在使用数据流中间件的编程模式中,提出了逆向调度策略和基于数据感知的调度策略.逆向调度策略可以在迭代交替时通过逆转任务序列,减少系统对外存的访问次数;基于数据... 为了提高在集群环境中进行大规模线性核外计算时的系统外存访问效率,在使用数据流中间件的编程模式中,提出了逆向调度策略和基于数据感知的调度策略.逆向调度策略可以在迭代交替时通过逆转任务序列,减少系统对外存的访问次数;基于数据感知的调度策略可以通过对当前节点内存中已有数据的实时感知,对任务序列进行动态调整,最大限度触发满足数据条件的任务,降低系统的外存访问频率.通过典型的稀疏矩阵与矢量的乘法计算(SpMV)实验,与消息传递接口(MPI)传统调度策略进行了对比,论证了逆向调度策略和基于数据感知的调度策略均可有效减少外存访问次数,基于数据感知的调度策略使系统运行速度得到了最大值约为2倍的提升. 展开更多

关键词 集群 调度 核外计算 全局地址 数据感知

原文传递

并行与分布式计算动态负载均衡策略综述 被引量：43

8

作者 杨际祥 谭国真 王荣生 《电子学报》 EI CAS CSCD 北大核心 2010年第5期1122-1130,共9页

动态负载均衡(Dynamic Load Balancing,DLB)是提高动态和非规则问题计算效率与规模的一个挑战问题.阐述了DLB的一般性问题,根据DLB策略的主要特征给出了一个综合分类方法,按分类对近30年提出的各种主要DLB策略做了细致的分析和深入的比... 动态负载均衡(Dynamic Load Balancing,DLB)是提高动态和非规则问题计算效率与规模的一个挑战问题.阐述了DLB的一般性问题,根据DLB策略的主要特征给出了一个综合分类方法,按分类对近30年提出的各种主要DLB策略做了细致的分析和深入的比较,并做了策略有效性分析.在总结现有研究成果基础上,分析了该领域的最新发展趋势,为下一步的研究提出了新的问题和思路. 展开更多

关键词 并行与分布式计算 动态负载均衡(DLB) 多核计算

下载PDF 职称材料

多核处理器的机载激光雷达点云并行三角网渐进加密滤波方法 被引量：33

9

作者 亢晓琛 刘纪平 林祥国 《测绘学报》 EI CSCD 北大核心 2013年第3期331-336,共6页

滤波是机载LiDAR点云数据处理的关键步骤之一,点云数据的海量化特性使得一般的串行化滤波处理方法无法满足快速成图的应用需求。提出一种基于多核计算技术的并行三角网渐进加密滤波方法,将串行方法中最耗时的三角网构建与脚点判别过程... 滤波是机载LiDAR点云数据处理的关键步骤之一,点云数据的海量化特性使得一般的串行化滤波处理方法无法满足快速成图的应用需求。提出一种基于多核计算技术的并行三角网渐进加密滤波方法,将串行方法中最耗时的三角网构建与脚点判别过程进行了并行化改造。三角网构建算法的并行化基于分治法实现,脚点判别算法的并行化采用一种随机分配策略将三角网划分为多个离散分布的三角形子集合来实现负载均衡。并行滤波方法在8核环境下多次渐进加密的实际加速比达到3.1左右。试验证明,该方法可以充分发挥多核计算优势,并且对不同分布形态点云数据具有良好的适应性。 展开更多

关键词 点云 并行滤波 三角网渐进加密 多核计算

下载PDF 职称材料

负载均衡策略研究综述 被引量：21

10

作者 王荣生 杨际祥 王凡 《小型微型计算机系统》 CSCD 北大核心 2010年第8期1681-1686,共6页

负载均衡是最大化处理器利用率和提高并行计算效率的一个关键问题,而其发展相对滞后的软件成为影响并行计算应用发展的重要因素.本文给出负载均衡问题的一般性阐述,从算法理论和并行计算应用问题角度出发综述了现有负载均衡策略及其软... 负载均衡是最大化处理器利用率和提高并行计算效率的一个关键问题,而其发展相对滞后的软件成为影响并行计算应用发展的重要因素.本文给出负载均衡问题的一般性阐述,从算法理论和并行计算应用问题角度出发综述了现有负载均衡策略及其软件的研究成果.结合当前新兴并行体系结构和应用的发展趋势,分析并指出了下一步研究的问题和方向. 展开更多

关键词 并行计算 负载均衡 多核计算 软件

下载PDF 职称材料

多核图像处理并行设计范式的研究与应用 被引量：8

11

作者 王成良 谢克家 刘昕 《计算机工程》 CAS CSCD 北大核心 2011年第14期220-222,225,共4页

多核计算环境下采用图像处理并行算法可提高图像处理的速度,但已有的并行设计只针对边缘检测、图像投影等特定算法进行,没有形成通用的并行算法设计范式。为此,在研究图像处理算法可并行处理机制和多核架构特点的基础上,提出分析、建模... 多核计算环境下采用图像处理并行算法可提高图像处理的速度,但已有的并行设计只针对边缘检测、图像投影等特定算法进行,没有形成通用的并行算法设计范式。为此,在研究图像处理算法可并行处理机制和多核架构特点的基础上,提出分析、建模、映射、调试和性能评价及测试发布等5个设计步骤的基于多核计算环境的图像处理算法并行设计范式,以图像傅里叶变换并行算法设计为例在单核、双核、四核、八核计算环境下验证了该并行范式的有效性。实验结果表明,该范式在图像处理并行设计方面可扩展图像处理的应用空间。 展开更多

关键词 并行算法 并行设计范式 图像处理 多核计算环境 可扩展性

下载PDF 职称材料

基于OpenMP的Kriging插值算法研究 被引量：5

12

作者 陈欢 谢健 《计算机科学》 CSCD 北大核心 2012年第B06期392-395,共4页

随着多核处理器的普及,并为了充分利用多核PC机的特性,计算机技术逐渐向多核架构及多核计算技术发展。为提高对湖南地区100m×100m小网格气温插值的速度,采用以OpenMP为标准的基于共享存储的并行编程模型对Kriging插值算法进行改进... 随着多核处理器的普及,并为了充分利用多核PC机的特性,计算机技术逐渐向多核架构及多核计算技术发展。为提高对湖南地区100m×100m小网格气温插值的速度,采用以OpenMP为标准的基于共享存储的并行编程模型对Kriging插值算法进行改进。在不同核的多核PC机中,采用100m×100m小网格和500m×500m小网格地形数据对平均气温进行插值,不仅有效减少了插值时间和提高了算法的加速比,而且集成到业务系统中大大提升了系统的反应时间及性能。 展开更多

关键词 多核计算 OpenMP模型 KRIGING插值 小网格插值

下载PDF 职称材料

多核并行计算在地形因子计算中的应用 被引量：3

13

作者 谢成磊 赵荣 亢晓琛 《测绘科学》 CSCD 北大核心 2016年第3期40-43,27,共5页

为了满足地理国情监测中地形统计指标的高性能计算需求,该文提出在多核计算环境下将地形因子串行计算进行并行化的方法:通过对串行算法耗时部分进行线程级并行化改进,尽可能使计算过程中的线程负载均衡、计算任务的分配更加均匀,从而有... 为了满足地理国情监测中地形统计指标的高性能计算需求,该文提出在多核计算环境下将地形因子串行计算进行并行化的方法:通过对串行算法耗时部分进行线程级并行化改进,尽可能使计算过程中的线程负载均衡、计算任务的分配更加均匀,从而有效提升程序运算效率。试验对比了不同地形因子算子在计算栅格数据时串行方式和并行方式的执行效率差异,测试结果表明,并行算法在单机16核环境下的计算效率提升明显。 展开更多

关键词 地理国情监测 并行计算 多核计算 数字高程模型 地形因子

原文传递

GIS高性能空间分析研究进展 被引量：4

14

作者 张帅 伍传敏 《三明学院学报》 2011年第6期24-29,共6页

伴随着多核计算平台的发展和地理空间信息的爆炸性增长,并行地理信息系统(GIS)的时代已经到来。空间分析是GIS的核心,其性能直接制约着GIS软件的竞争力。多核计算环境为空间分析技术的发展提供了新的机遇,依据空间分析的5个功能领域逐... 伴随着多核计算平台的发展和地理空间信息的爆炸性增长,并行地理信息系统(GIS)的时代已经到来。空间分析是GIS的核心,其性能直接制约着GIS软件的竞争力。多核计算环境为空间分析技术的发展提供了新的机遇,依据空间分析的5个功能领域逐个探讨其在高性能环境下的并行算法复杂度和空间资源组织复杂度,以揭示在各个功能上的并行化的主要问题和挑战。 展开更多

关键词 GIS空间分析 高性能计算 多核计算环境

下载PDF 职称材料

多核计算环境下改进的主从式并行遗传算法 被引量：4

15

作者 谢克家 刘昕 +1 位作者 王成良 杨少晨 《微计算机信息》 2011年第3期164-166,共3页

遗传算法作为通用而有效的全局搜索算法已在图像处理、自动控制等众多领域获得应用,但其计算量大、极耗计算资源,运行效率直接影响到复杂的非线性和多维空间寻优问题的求解效率。在分析OpenMP并行技术特点的基础上,针对主从式并行模型... 遗传算法作为通用而有效的全局搜索算法已在图像处理、自动控制等众多领域获得应用,但其计算量大、极耗计算资源,运行效率直接影响到复杂的非线性和多维空间寻优问题的求解效率。在分析OpenMP并行技术特点的基础上,针对主从式并行模型没有充分利用遗传算法内在并行性的问题,提出了一种改进的主从式并行遗传算法,并应用OpenMP编程模型在多核计算环境下实现。利用旅行商问题进行的实验表明,改进的并行遗传算法有更好的计算效率、扩展性,可在求解大规模TSP问题上有更广泛和高效的应用。 展开更多

关键词 并行遗传算法 多核计算环境 主从式 旅行商问题

下载PDF 职称材料

基于VS2012的并行计算实验平台搭建与实现 被引量：2

16

作者 陈华 王明君 《实验室研究与探索》 CAS 北大核心 2015年第2期125-127,共3页

结合最新的并行计算技术,基于VS2012搭建了Open MP、MPI、C++AMP、CUDA 6.0等四个并行实验平台,并对不同实验平台实现PI值计算。实验结果说明这种并行计算环境具有良好的性能与可扩展性;Open MP与MPI等CPU计算加速效果与CPU内核数目成比... 结合最新的并行计算技术,基于VS2012搭建了Open MP、MPI、C++AMP、CUDA 6.0等四个并行实验平台,并对不同实验平台实现PI值计算。实验结果说明这种并行计算环境具有良好的性能与可扩展性;Open MP与MPI等CPU计算加速效果与CPU内核数目成比例,C++AMP与CUDA 6.0等GPU计算加速效果与GPU物理计算核心数目成正比;同等条件下GPU物理计算核心数目远多于CPU核心数目,用GPU进行计算往往可获得更高的性价比。 展开更多

关键词 并行实验平台 VS2012 多核计算 GPU并行计算 MPI并行计算

下载PDF 职称材料

马尔科夫链蒙特卡洛算法并行化设计与性能分析 被引量：3

17

作者 周玉科 刘建文 王妍 《计算机应用与软件》 2017年第12期250-255,272,共7页

马尔科夫链蒙特卡洛MCMC(Markov Chain Monte Carlo)算法广泛应用于地球系统模型中参数不确定性分析和模拟。由于地球环境科学数据的高维度、大容量特性,迫切需求高性能的MCMC算法满足应用需求。采用数据分治法实现该算法的多核并行化... 马尔科夫链蒙特卡洛MCMC(Markov Chain Monte Carlo)算法广泛应用于地球系统模型中参数不确定性分析和模拟。由于地球环境科学数据的高维度、大容量特性,迫切需求高性能的MCMC算法满足应用需求。采用数据分治法实现该算法的多核并行化。利用静态和动态分配策略将算法中的多个输入链分配到各CPU;独立计算并通过共享内存实现进程间通信;主进程回收各单元计算结果,合成最终的马尔可夫链输出矩阵。采用控制变量法分析不同样本和马尔可夫链数量下的算法加速情况。结果表明在计算规模较大、动态负载均衡的条件下易于获得较好的加速比,在4个CPU以内时效果显著,之后随着CPU增加加速效果出现波动或趋于稳定。研究表明并行化MCMC能够利用多核CPU硬件设施获得加速效果,更多核数的加速性能存在进一步优化的空间。 展开更多

关键词 马尔可夫链蒙特卡洛算法 分治法则 多核计算 共享内存 加速性能

下载PDF 职称材料

一种基于V^3模型的内存数据库性能分析研究 被引量：2

18

作者 王寅峰 王龙翔 《计算机技术与发展》 2015年第6期77-83,共7页

针对大数据时代各种复杂业务对数据处理日益增长的性能要求,以及对数据管理中:模式自由、高可用、轻量级复制、大容量水平可扩展等方面的需要,文中从内存数据库的存储类型、体系结构、规模、并发性、可用性与可扩展性等方面对19种主流... 针对大数据时代各种复杂业务对数据处理日益增长的性能要求,以及对数据管理中:模式自由、高可用、轻量级复制、大容量水平可扩展等方面的需要,文中从内存数据库的存储类型、体系结构、规模、并发性、可用性与可扩展性等方面对19种主流内存数据库进行了对比分析。提出了一种综合考虑处理速度、规模与可扩展性的V3性能模型,对主流内存数据库进行了分类,并选取了有代表性的内存数据库在高频量化交易测试环境进行性能分析与测试。结果表明,New SQL数据库有较好的综合性能。为提高内存数据库在多任务并行情况下处理的速度,文中对多核环境中内存数据库的设计与优化进行了分析,将优化过程分为访存、并发加速和数据划分模式,并对内存数据库发展进行了展望。 展开更多

关键词 内存数据库 事物处理 性能模型 高频量化 多核计算

下载PDF 职称材料

双运算核提升小波变换的FPGA硬件实现 被引量：2

19

作者 周新文 钟明光 《电子科技》 2011年第6期15-18,共4页

应用提升方法实现了双正交小波变换。给出了应用因式分解法,将传统小波滤波器分解为基本提升步骤的推导。采用双运算核在FPGA硬件平台上实现小波变换模块。采用单一时钟,在不增加系统设计复杂性和功耗的情况下,使得系统达到实时处理的... 应用提升方法实现了双正交小波变换。给出了应用因式分解法,将传统小波滤波器分解为基本提升步骤的推导。采用双运算核在FPGA硬件平台上实现小波变换模块。采用单一时钟,在不增加系统设计复杂性和功耗的情况下,使得系统达到实时处理的要求。系统通过仿真验证,工作稳定可靠。 展开更多

关键词 双正交小波 提升小波变换 双运算核 硬件实现

下载PDF 职称材料

多核多线程并行求解线性方程组 被引量：2

20

作者 冯佩 钟诚 韦伟 《合肥工业大学学报（自然科学版）》 CAS CSCD 北大核心 2011年第2期237-240,250,共5页

线性方程组求解在科学与工程计算领域具有广泛的应用。文章依据多核计算机共享二级缓存和私有一级缓存的容量,采取将线性方程组的增广矩阵按行划分并合理地分布存储到各级缓存中,各个处理核以多线程方式并行计算矩阵行的方法,给出了一... 线性方程组求解在科学与工程计算领域具有广泛的应用。文章依据多核计算机共享二级缓存和私有一级缓存的容量,采取将线性方程组的增广矩阵按行划分并合理地分布存储到各级缓存中,各个处理核以多线程方式并行计算矩阵行的方法,给出了一种在多核计算机上实现的线程级并行求解n阶线性方程组的算法。实验结果表明,与原Gauss-Seidel并行算法相比,文中所提出的算法具有较好的加速比和可扩展性。 展开更多

关键词 线性方程组求解 Gauss-Seidel算法 多核计算 线程级并行 多级缓存

下载PDF 职称材料