核外计算中的几种I/O优化方法 被引量：4

1

作者 唐剑琪 方滨兴 +1 位作者 胡铭曾 王威 《计算机研究与发展》 EI CSCD 北大核心 2005年第10期1820-1825,共6页

大数据量应用问题引入核外计算模式,由于访问磁盘数据的速度比较慢,I/O成为核外计算性能重要的限制因素·提出了一种使用运行库进行I/O优化的方法,给出了3种有效的优化策略:规则区域筛选、数据预取和边缘重用·编程人员可针对... 大数据量应用问题引入核外计算模式,由于访问磁盘数据的速度比较慢,I/O成为核外计算性能重要的限制因素·提出了一种使用运行库进行I/O优化的方法,给出了3种有效的优化策略:规则区域筛选、数据预取和边缘重用·编程人员可针对不同的应用问题使用相应的优化API来缩短程序执行时间·实验结果表明,通过减少I/O操作次数和内外存交换的数据量以及隐藏部分I/O操作延迟,有效提高了核外计算的性能· 展开更多

关键词 核外计算 规则区域筛选 预取 边缘重用

下载PDF 职称材料

面向工作站机群的核外计算模型及实现 被引量：1

2

作者 唐剑琪 方滨兴 胡铭曾 《高技术通讯》 EI CAS CSCD 2003年第7期20-24,共5页

提出了面向工作站机群的核外计算模型。基于该模型并采用面向对象的语言机制 ,在工作站机群系统上实现了对核外数组的有效处理 ,使得工作站机群系统能够处理海量数据应用问题。通过对局部数组文件分布的优化、采用自适应的数据筛选和数... 提出了面向工作站机群的核外计算模型。基于该模型并采用面向对象的语言机制 ,在工作站机群系统上实现了对核外数组的有效处理 ,使得工作站机群系统能够处理海量数据应用问题。通过对局部数组文件分布的优化、采用自适应的数据筛选和数据预取策略 。 展开更多

关键词 工作站机群 核外计算 面向对象 模型 模板 通信 优化策略 核外数组

下载PDF 职称材料

基于核外计算的Datalog引擎设计与实现

3

作者 张奕裕 王归航 +1 位作者 左志强 李宣东 《软件学报》 EI CSCD 北大核心 2023年第8期3587-3604,共18页

随着新兴技术的迅速发展,领域软件对开发效率提出了新的要求.Datalog语言作为一门具有简洁语法和良好语义的声明式编程语言,能帮助开发人员快速开发和解决问题,近年来越来越受到重视与欢迎.但解决真实场景问题时,现有的单机Datalog引擎... 随着新兴技术的迅速发展,领域软件对开发效率提出了新的要求.Datalog语言作为一门具有简洁语法和良好语义的声明式编程语言,能帮助开发人员快速开发和解决问题,近年来越来越受到重视与欢迎.但解决真实场景问题时,现有的单机Datalog引擎计算规模往往受限于内存容量大小,不具有可扩展性.为解决上述问题,设计并实现基于核外计算的Datalog引擎.方法首先设计一系列计算Datalog程序所需的支持核外计算的操作算子,然后将Datalog程序转换合成带核外计算算子的C++程序,接着方法设计基于Hash的分区策略和基于搜索树剪枝的最少置换调度策略,将相应的分区文件调度执行计算并得到最终结果.基于该方法,实现原型工具DDL(disk-based Datalog engine),并选取广泛应用的真实Datalog程序,在合成数据集以及真实数据集上进行实验,实验结果体现了DDL良好性能以及高可扩展性. 展开更多

关键词 Datalog引擎 核外计算 操作算子 分区策略 调度策略

下载PDF 职称材料

虚拟共享存储系统中核外计算的实现

4

作者 李春江 杨学军 《计算机工程与科学》 CSCD 2000年第4期97-99,102,共4页

本文提出了在虚拟共享存储系统中实现核外计算的方法 ,对如何把核外计算与共享存储编程环境相结合进行了详细的讨论 ,提出了核外化页面表的概念 ,给出了相应的数据结构描述 ;同时 ,举例说明这种实现方法的优越性 ,并提出了实现过程中的... 本文提出了在虚拟共享存储系统中实现核外计算的方法 ,对如何把核外计算与共享存储编程环境相结合进行了详细的讨论 ,提出了核外化页面表的概念 ,给出了相应的数据结构描述 ;同时 ,举例说明这种实现方法的优越性 ,并提出了实现过程中的一些优化方法。。 展开更多

关键词 虚拟共享存储系统 核外计算 核外算法

下载PDF 职称材料

应用编译技术优化核外计算程序

5

作者 李淼 张建 +4 位作者 张红艳 许桂艳 徐大庆 胡泽林 袁媛 《计算机应用》 CSCD 北大核心 2007年第5期1241-1244,共4页

阐述了一种适用于核外计算程序的变换技术,它通过联合使用循环变换和数据变换这两种编译优化技术来增强程序的局部性,提高数据存取效率。该方法不仅能优化单独一个嵌套循环,还能同时处理多个嵌套循环。实验结果表明了该方法能显著提高... 阐述了一种适用于核外计算程序的变换技术,它通过联合使用循环变换和数据变换这两种编译优化技术来增强程序的局部性,提高数据存取效率。该方法不仅能优化单独一个嵌套循环,还能同时处理多个嵌套循环。实验结果表明了该方法能显著提高核外计算的性能。 展开更多

关键词 循环变换 数据变换 局部性 核外计算 编译技术

下载PDF 职称材料

基于多核计算的实时数字图像稳定 被引量：1

6

作者 周渝斌 时永刚 《计算机科学》 CSCD 北大核心 2010年第4期269-273,277,共6页

多核计算已成为计算领域新的发展趋势。针对电子数字稳像系统中待处理的数据量和计算量都非常大的特点,结合双核PC平台的计算特点,采用了一种联合多种加快算法运行速度的处理方案,以满足系统的实时性要求。该方法结合图像视频数据处理... 多核计算已成为计算领域新的发展趋势。针对电子数字稳像系统中待处理的数据量和计算量都非常大的特点,结合双核PC平台的计算特点,采用了一种联合多种加快算法运行速度的处理方案,以满足系统的实时性要求。该方法结合图像视频数据处理的高度并行化、重复性处理的特征,在程序编制上,采用多线程并行处理方法,利用单指令多数据流(Single Instruction Multiple Data,SIMD)、流水线SIMD技术,在双核CPU上完成并行多线程任务分配和共享内存管理。并在快速搜索基础上,采用自适应多局部运动矢量估计消除运动物体干扰,用Kalman滤波分离了两种不同的运动信号,最终完成有害抖动信号的运动补偿。通过这些措施,在普通商用的双核PC机上实现了稳像实验系统的高效实时处理。 展开更多

关键词 多核计算 图像稳定 运动估计 并行处理

下载PDF 职称材料

粗等价粒度下基于多种加速策略的增量式求核算法

7

作者 赵洁 张恺航 +2 位作者 董振宁 梁俊杰 徐克付 《计算机科学》 CSCD 北大核心 2017年第1期226-234,258,共10页

提出一种全新的渐增式求核算法。首先基于全局等价类提出粗等价类概念并分析其性质,研究粗等价类下的求核与约简;深入研究3类粗等价类与核属性的内在联系,设计粗等价类下判断核属性的等价方法和渐增式求核方法,通过该方法可在一次增量... 提出一种全新的渐增式求核算法。首先基于全局等价类提出粗等价类概念并分析其性质,研究粗等价类下的求核与约简;深入研究3类粗等价类与核属性的内在联系,设计粗等价类下判断核属性的等价方法和渐增式求核方法,通过该方法可在一次增量计算中求得多个非核属性,从而设计双向剪枝策略;可从属性和实体双方面缩减计算域,无需遍历全部属性和实体,在无核情况下,剪枝策略仍然有效。设计多次Hash的属性增量划分算法来完成上述增量式计算,基于此给出完整的渐增式求核算法。最后用UCI中20个决策表及海量、超高维3类数据集从多个角度进行验证,实验结果证明了所提算法的有效性和高效性,其尤其适用于大型决策表,大多数情况下优于现有算法。算法可进一步作为新型约简和优化算法的基础。 展开更多

关键词 粗糙约简 粗等价类 渐增式求核 HASH

下载PDF 职称材料

高性能GIS研究进展及评述 被引量：15

8

作者 左尧 王少华 +1 位作者 钟耳顺 蔡文文 《地球信息科学学报》 CSCD 北大核心 2017年第4期437-446,共10页

互联网技术的发展使地理信息技术得到了前所未有的发展和应用,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。而随着计算机硬件性能飞速提升,传统的GIS数据处理方式并不能与之匹配,各种缺陷与弊端逐渐显现,亟待更... 互联网技术的发展使地理信息技术得到了前所未有的发展和应用,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。而随着计算机硬件性能飞速提升,传统的GIS数据处理方式并不能与之匹配,各种缺陷与弊端逐渐显现,亟待更高效的数据处理方式。目前,以并行集群计算技术和分布式网络技术为代表的高性能计算的出现,为这些问题的解决带来了新思路,并逐渐发展形成了新一代的多核并行高性能计算系统。当前,如何利用新型硬件体系结构带来的计算能力,研究新一代高性能GIS计算系统,解决现在所面临的时空数据密集和计算密集问题成为重要挑战。高性能计算是基于一组或几组计算机系统组成的集群,通过网络连接组成超级计算系统以加强数据处理、分析计算性能的一种技术。在实际应用中,逐渐形成Hadoop,Spark和Storm 3大主流分布式高性能计算系统,它们三者各具优缺点。本文从高性能GIS算法、并行GIS计算、内存计算和众核计算4个方面梳理、归纳总结了高性能GIS的技术体系,分析了每类高性能GIS技术特征,综合分析、评述了近年来高性能GIS的研究进展,并对高性能GIS未来发展进行展望,为更完备、高效的高性能GIS体系的建立、发展和应用提供参考。今后,并行GIS计算、高性能计算模式和分布式存储仍然是GIS技术领域发展的重要方向,通过高性能GIS系统可有效地解决时空数据密集、计算密集和网络通讯密集等问题,大大提升GIS地理分析效率。 展开更多

关键词 高性能GIS 高性能GIS算法 并行GIS计算 内存计算 众核计算 GIS云计算

原文传递

p-HPF并行编译系统核外计算的实现及优化策略 被引量：4

9

作者 丁文魁 汪剑平 +2 位作者 向华 李晓明 许卓群 《计算机学报》 EI CSCD 北大核心 1999年第10期1042-1049,共8页

文中阐述了ｐ－ＨＰＦ编译系统中对核外计算的支持以及采取的优化策略．通过对编程模型的扩充和并行Ｉ／Ｏ模型的构造，ｐ－ＨＰＦ编译系统已能对核外数组进行有效的处理．通过采用数据筛选、行列优先、预取、文件与数组的一一映射等优... 文中阐述了ｐ－ＨＰＦ编译系统中对核外计算的支持以及采取的优化策略．通过对编程模型的扩充和并行Ｉ／Ｏ模型的构造，ｐ－ＨＰＦ编译系统已能对核外数组进行有效的处理．通过采用数据筛选、行列优先、预取、文件与数组的一一映射等优化策略，使并行程序执行核外计算的效率得到了大幅度地提高．文中叙述了核外计算模型及其优化的设计思想与实现。 展开更多

关键词 核外计算 核外数组 数据筛选 并行编译系统

下载PDF 职称材料

非规则、核外并行计算研究综述 被引量：1

10

作者 胡长军 张纪林 +1 位作者 王珏 李建江 《小型微型计算机系统》 CSCD 北大核心 2008年第11期1969-1978,共10页

非规则、核外计算既是大规模并行应用普遍存在的问题,也是影响大规模并行应用效率的关键问题.本文从并行处理模型、运行支持库实现和并行优化三个方面对非规则、核外计算技术进行了全面综述,并对典型研究成果的特点和不足进行了分析.如... 非规则、核外计算既是大规模并行应用普遍存在的问题,也是影响大规模并行应用效率的关键问题.本文从并行处理模型、运行支持库实现和并行优化三个方面对非规则、核外计算技术进行了全面综述,并对典型研究成果的特点和不足进行了分析.如何充分利用系统结构的特点和应用数据本身的特点,寻求非规则、核外计算处理的优化是现有技术发展的共同思想.在此基础上,指出了处理两类问题的技术相关性以及在SM P集群系统结构和网络存储环境下,解决非规则、核外计算的新思路:一是从问题描述、编译优化、运行支持等多层次协同研究充分利用系统结构特点的优化技术,二是从应用问题出发,在并行粒度确定、并行范例选择等方面统一非规则、核外计算的处理,三是研究新的支持非规则通信的优化技术和动态负载均衡方法. 展开更多

关键词 非规则计算 核外计算 并行模型 综述

下载PDF 职称材料

核外计算中I／O优化策略的研究 被引量：3

11

作者 王威 胡铭曾 《哈尔滨商业大学学报（自然科学版）》 CAS 2005年第5期600-603,共4页

在大规模科学计算中,核外计算的应用越来越广泛,而核外计算时间优化的关键是I／O执行 时间的长短．通过对I/O优化方法的研究,实现了数据筛选、数据预取、数据重用三种I／O优化策略．实 验结果表明这三种优化策略均能隐藏I／O延迟,优化... 在大规模科学计算中,核外计算的应用越来越广泛,而核外计算时间优化的关键是I／O执行 时间的长短．通过对I/O优化方法的研究,实现了数据筛选、数据预取、数据重用三种I／O优化策略．实 验结果表明这三种优化策略均能隐藏I／O延迟,优化核外计算的系统性能． 展开更多

关键词 核外计算 数据筛选 数据预取 数据重用

下载PDF 职称材料

一种面向分布式系统的核外存储策略

12

作者 唐剑琪 方滨兴 胡铭曾 《计算机工程与应用》 CSCD 北大核心 2002年第23期35-36,50,共3页

核外计算是解决计算机内存不足的一种有效方法。该文面向分布式系统提出了核外存储模型,采用面向对象的方法,在工作站机群系统上实现了处理核外数组的编程接口,并且通过采取对局部数组文件分布进行优化、自适应的数据筛选和数据预取等方... 核外计算是解决计算机内存不足的一种有效方法。该文面向分布式系统提出了核外存储模型,采用面向对象的方法,在工作站机群系统上实现了处理核外数组的编程接口,并且通过采取对局部数组文件分布进行优化、自适应的数据筛选和数据预取等方法,进一步提高了核外计算性能。 展开更多

关键词 分布式系统 核外存储策略 工作站机群系统 核外数组 核外计算

下载PDF 职称材料

一种基于PVFS的并行核外计算方法

13

作者 唐剑琪 方滨兴 张宏莉 《哈尔滨工业大学学报》 EI CAS CSCD 北大核心 2006年第5期682-684,共3页

针对传统的并行核外编程复杂、虚存系统性能不理想的问题,提出一种基于PVFS的并行核外计算方法,描述了其软件层次结构、数据访问策略及实现,为工作站机群用户提供了方便的编程接口以及核外数据的全局视图.实验结果表明,该方法扩展了可... 针对传统的并行核外编程复杂、虚存系统性能不理想的问题,提出一种基于PVFS的并行核外计算方法,描述了其软件层次结构、数据访问策略及实现,为工作站机群用户提供了方便的编程接口以及核外数据的全局视图.实验结果表明,该方法扩展了可有效解决的核外问题规模,大数据量时的计算性能优于虚存系统. 展开更多

关键词 核外计算 并行文件系统 核外数组 工作站机群

下载PDF 职称材料

基于集群计算环境的核外计算调度方法研究

14

作者 周峥 许先斌 Mehmet Devec 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2013年第8期40-43,49,共5页

为了提高在集群环境中进行大规模线性核外计算时的系统外存访问效率,在使用数据流中间件的编程模式中,提出了逆向调度策略和基于数据感知的调度策略.逆向调度策略可以在迭代交替时通过逆转任务序列,减少系统对外存的访问次数;基于数据... 为了提高在集群环境中进行大规模线性核外计算时的系统外存访问效率,在使用数据流中间件的编程模式中,提出了逆向调度策略和基于数据感知的调度策略.逆向调度策略可以在迭代交替时通过逆转任务序列,减少系统对外存的访问次数;基于数据感知的调度策略可以通过对当前节点内存中已有数据的实时感知,对任务序列进行动态调整,最大限度触发满足数据条件的任务,降低系统的外存访问频率.通过典型的稀疏矩阵与矢量的乘法计算(SpMV)实验,与消息传递接口(MPI)传统调度策略进行了对比,论证了逆向调度策略和基于数据感知的调度策略均可有效减少外存访问次数,基于数据感知的调度策略使系统运行速度得到了最大值约为2倍的提升. 展开更多

关键词 集群 调度 核外计算 全局地址 数据感知

原文传递

浅析咨询企业的资源观

15

作者 郑云武 《现代情报》 北大核心 2007年第11期179-182,共4页

本文以企业资源基础理论为出发点,结合战略管理思想和咨询企业的资源特点,提出培育我国咨询企业核心能力的建设措施。

关键词 咨询企业 战略管理 企业资源 核心能力

下载PDF 职称材料

基于并行混沌量子粒子群算法的梯级水库群防洪优化调度研究 被引量：47

16

作者 邹强 王学敏 +2 位作者 李安强 何小聪 罗斌 《水利学报》 EI CSCD 北大核心 2016年第8期967-976,共10页

梯级水库群防洪优化调度问题规模庞大、结构复杂,涉及大量的决策变量和复杂的约束条件,各水库、各时段之间的水位、流量存在复杂的耦合关系,呈现出高维度、非线性、强约束特性,传统的优化方法难以直接求解或者计算效率低,存在早熟收敛... 梯级水库群防洪优化调度问题规模庞大、结构复杂,涉及大量的决策变量和复杂的约束条件,各水库、各时段之间的水位、流量存在复杂的耦合关系,呈现出高维度、非线性、强约束特性,传统的优化方法难以直接求解或者计算效率低,存在早熟收敛问题。研究工作试图将量子粒子群算法(QPSO)引入到水库群防洪优化调度问题中,为了提高算法的全局搜索能力和收敛性能,对标准QPSO做了改进,包括利用混沌思想初始化种群、自适应激活机制和精英粒子混沌局部搜索策略3个方面,并引入多核并行计算技术以降低计算时间,提出了并行混沌量子粒子群算法(PCQPSO),函数测试证明了PCQPSO的可行性、稳定性和高效性。将PCQPSO应用到水库群防洪优化调度问题中,与POA、QPSO进行对比分析,结果表明PCQPSO收敛效率快、求解精度高,为解决梯级水库群防洪优化调度问题提供了一种有效的新思路。 展开更多

关键词 水库群 防洪优化调度 量子粒子群 混沌 多核并行计算

原文传递

并行与分布式计算动态负载均衡策略综述 被引量：43

17

作者 杨际祥 谭国真 王荣生 《电子学报》 EI CAS CSCD 北大核心 2010年第5期1122-1130,共9页

动态负载均衡(Dynamic Load Balancing,DLB)是提高动态和非规则问题计算效率与规模的一个挑战问题.阐述了DLB的一般性问题,根据DLB策略的主要特征给出了一个综合分类方法,按分类对近30年提出的各种主要DLB策略做了细致的分析和深入的比... 动态负载均衡(Dynamic Load Balancing,DLB)是提高动态和非规则问题计算效率与规模的一个挑战问题.阐述了DLB的一般性问题,根据DLB策略的主要特征给出了一个综合分类方法,按分类对近30年提出的各种主要DLB策略做了细致的分析和深入的比较,并做了策略有效性分析.在总结现有研究成果基础上,分析了该领域的最新发展趋势,为下一步的研究提出了新的问题和思路. 展开更多

关键词 并行与分布式计算 动态负载均衡(DLB) 多核计算

下载PDF 职称材料

多核处理器的机载激光雷达点云并行三角网渐进加密滤波方法 被引量：33

18

作者 亢晓琛 刘纪平 林祥国 《测绘学报》 EI CSCD 北大核心 2013年第3期331-336,共6页

滤波是机载LiDAR点云数据处理的关键步骤之一,点云数据的海量化特性使得一般的串行化滤波处理方法无法满足快速成图的应用需求。提出一种基于多核计算技术的并行三角网渐进加密滤波方法,将串行方法中最耗时的三角网构建与脚点判别过程... 滤波是机载LiDAR点云数据处理的关键步骤之一,点云数据的海量化特性使得一般的串行化滤波处理方法无法满足快速成图的应用需求。提出一种基于多核计算技术的并行三角网渐进加密滤波方法,将串行方法中最耗时的三角网构建与脚点判别过程进行了并行化改造。三角网构建算法的并行化基于分治法实现,脚点判别算法的并行化采用一种随机分配策略将三角网划分为多个离散分布的三角形子集合来实现负载均衡。并行滤波方法在8核环境下多次渐进加密的实际加速比达到3.1左右。试验证明,该方法可以充分发挥多核计算优势,并且对不同分布形态点云数据具有良好的适应性。 展开更多

关键词 点云 并行滤波 三角网渐进加密 多核计算

下载PDF 职称材料

多核并行计算技术在电力系统短路计算中的应用 被引量：31

19

作者 熊玮 夏文龙 +1 位作者 余晓鸿 林湘宁 《电力系统自动化》 EI CSCD 北大核心 2011年第8期49-52,86,共5页

考虑到大型电力系统分析计算耗时过多,提出一种适用于电力系统分析计算的多核并行技术。以短路计算为例,详细给出了如何采用多核并行计算将节点矩阵分解后求解的基本流程。通过仿真分析验证了所述方法,对算法使用前后的效果进行了对比... 考虑到大型电力系统分析计算耗时过多,提出一种适用于电力系统分析计算的多核并行技术。以短路计算为例,详细给出了如何采用多核并行计算将节点矩阵分解后求解的基本流程。通过仿真分析验证了所述方法,对算法使用前后的效果进行了对比。在此基础上,针对华中电网的节点模型,进行了故障计算的测试,并比较了多核并行计算方法与基于集群计算方法的性能。结果表明所提出的多核并行计算方法正确且有效。 展开更多

关键词 短路分析 在线整定 多核并行计算 实时仿真

下载PDF 职称材料

负载均衡策略研究综述 被引量：21

20

作者 王荣生 杨际祥 王凡 《小型微型计算机系统》 CSCD 北大核心 2010年第8期1681-1686,共6页

负载均衡是最大化处理器利用率和提高并行计算效率的一个关键问题,而其发展相对滞后的软件成为影响并行计算应用发展的重要因素.本文给出负载均衡问题的一般性阐述,从算法理论和并行计算应用问题角度出发综述了现有负载均衡策略及其软... 负载均衡是最大化处理器利用率和提高并行计算效率的一个关键问题,而其发展相对滞后的软件成为影响并行计算应用发展的重要因素.本文给出负载均衡问题的一般性阐述,从算法理论和并行计算应用问题角度出发综述了现有负载均衡策略及其软件的研究成果.结合当前新兴并行体系结构和应用的发展趋势,分析并指出了下一步研究的问题和方向. 展开更多

关键词 并行计算 负载均衡 多核计算 软件

下载PDF 职称材料