期刊文献+
共找到12篇文章
< 1 >
每页显示 20 50 100
内存计算技术研究综述 被引量:32
1
作者 罗乐 刘轶 钱德沛 《软件学报》 EI CSCD 北大核心 2016年第8期2147-2167,共21页
在大数据时代,如何高效地处理海量数据以满足性能需求,是一个需要解决的重要问题.内存计算充分利用大容量内存进行数据处理,减少甚至避免I/O操作,因而极大地提高了海量数据处理的性能,同时也面临一系列有待解决的问题.首先,在分析内存... 在大数据时代,如何高效地处理海量数据以满足性能需求,是一个需要解决的重要问题.内存计算充分利用大容量内存进行数据处理,减少甚至避免I/O操作,因而极大地提高了海量数据处理的性能,同时也面临一系列有待解决的问题.首先,在分析内存计算技术特点的基础上对其进行了分类,并分别介绍了各类技术及系统的原理、研究现状及热点问题;其次,对内存计算的典型应用进行了分析;最后,从总体层面和应用层面对内存计算面临的挑战予以分析,并且对其发展前景做了展望. 展开更多
关键词 内存计算 新型混合内存 分布式集群 图计算 大数据处理
下载PDF
面向智慧运维的分布式光伏知识库构建方法 被引量:8
2
作者 欧一鸣 苏雍贺 +3 位作者 邹孝付 靳健 张长志 陶飞 《计算机集成制造系统》 EI CSCD 北大核心 2020年第12期3205-3215,共11页
针对当前分布式光伏智能运维缺乏特定知识库支撑的问题,研究提出一种改进的面向智慧运维的分布式光伏知识库构建方法,该方法从实体提取和实体关系提取两个方面进行改进。为减小文本固定句式对知识库构建效果的影响,设计了基于词向量(wor... 针对当前分布式光伏智能运维缺乏特定知识库支撑的问题,研究提出一种改进的面向智慧运维的分布式光伏知识库构建方法,该方法从实体提取和实体关系提取两个方面进行改进。为减小文本固定句式对知识库构建效果的影响,设计了基于词向量(word embedding)改进的TextRank算法的实体提取方法。为解决现有模型分类器层与数据匹配不足的问题,设计了基于多标签问题改进的分段卷积神经网络模型的实体关系提取方法。通过实验对比分析结果表明,改进后的方法可有效提升自动化程度,减少人力成本,提升准确性。 展开更多
关键词 分布式光伏 智能运维 知识库 知识图谱 自然语言处理
下载PDF
iGraph: an incremental data processing system for dynamic graph 被引量:5
3
作者 Wuyang JU Jianxin LI +1 位作者 Weiren YU Richong ZHANG 《Frontiers of Computer Science》 SCIE EI CSCD 2016年第3期462-476,共15页
With the popularity of social network, the de- mand for real-time processing of graph data is increasing. However, most of the existing graph systems adopt a batch processing mode, therefore the overhead of maintainin... With the popularity of social network, the de- mand for real-time processing of graph data is increasing. However, most of the existing graph systems adopt a batch processing mode, therefore the overhead of maintaining and processing of dynamic graph is significantly high. In this pa- per, we design iGraph, an incremental graph processing sys- tem for dynamic graph with its continuous updates. The con- tribufions of iGraph include: 1) a hash-based graph partition strategy to enable fine-grained graph updates; 2) a vertex- based graph computing model to support incremental data processing; 3) detection and rebalance methods of hotspot to address the workload imbalance problem during incre- mental processing. Through the general-purpose API, iGraph can be used to implement various graph processing algo- rithms such as PageRank. We have implemented iGraph on Apache Spark, and experimental results show that for real life datasets, iGraph outperforms the original GraphX in respect of graph update and graph computation. 展开更多
关键词 big data distributed system in-memory computing graph processing hotspot detection
原文传递
动态图划分算法研究综述 被引量:1
4
作者 李贺 刘延娜 +5 位作者 袁航 杨舒琪 韵晋鹏 乔少杰 黄健斌 崔江涛 《软件学报》 EI CSCD 北大核心 2023年第2期539-564,共26页
图划分是大规模分布式图处理的首要工作,对图应用的存储、查询、处理和挖掘起基础支撑作用.随着图数据规模的不断扩大,真实世界中的图表现出动态性.如何对动态图进行划分,已成为目前图划分研究的热点问题.从不同动态图划分算法的关注点... 图划分是大规模分布式图处理的首要工作,对图应用的存储、查询、处理和挖掘起基础支撑作用.随着图数据规模的不断扩大,真实世界中的图表现出动态性.如何对动态图进行划分,已成为目前图划分研究的热点问题.从不同动态图划分算法的关注点和特点出发,系统性地介绍当前可用于解决动态图划分问题的各类算法,包括流式图划分算法、增量式图划分算法和图重划分算法.首先介绍图划分的3种不同的划分策略及问题定义、图的两种不同的动态性来源以及动态图划分问题;然后介绍3种不同的流式图划分算法,包括基于Hash的划分算法、基于邻居分布的划分算法以及基于流的优化划分算法;其次介绍单元素增量式划分和批量增量式划分这两种不同的增量式图划分算法;再次,分别介绍针对图结构动态的重划分算法和针对图计算动态的重划分算法;最后,在对已有方法分析和比较的基础上,总结目前动态图划分面临的主要挑战,提出相应的研究问题. 展开更多
关键词 图划分 动态图 分布式图处理 图算法
下载PDF
RGraph:基于RDMA的高效分布式图数据处理系统 被引量:5
5
作者 崔鹏杰 袁野 +2 位作者 李岑浩 张灿 王国仁 《软件学报》 EI CSCD 北大核心 2022年第3期1018-1042,共25页
图是描述实体间关系的重要数据结构,被广泛地应用于信息科学、物理学、生物学、环境生态学等重要的科学领域.现如今,随着图数据规模的不断增大,利用分布式系统来处理大图数据已经成为主流,出现了形如Pregel、GraphX、Power Graph和Gemin... 图是描述实体间关系的重要数据结构,被广泛地应用于信息科学、物理学、生物学、环境生态学等重要的科学领域.现如今,随着图数据规模的不断增大,利用分布式系统来处理大图数据已经成为主流,出现了形如Pregel、GraphX、Power Graph和Gemini等经典的分布式大图数据处理系统.然而,与当前先进的基于单机的图处理系统相比,这些经典的分布式图处理系统在处理真实的图数据时并没有充足或稳定的性能优势.分析了几个有代表性的分布式图处理系统,总结并归纳出了影响其性能的主要挑战.通过对这些挑战的深入研究,提出了RGraph——一个基于RDMA的高效分布式大图数据处理系统.RGraph旨在通过充分利用RDMA的优势来提升图处理系统多个方面的性能.在图划分方面,RGraph采用基于块的划分方式避免破坏原始图数据的局部性,从而保证顶点的高效访问.在负载方面,RGraph提出了基于RDMA单边READ的任务迁移机制和线程间细粒度的任务抢夺方式来分别保证计算节点间以及计算节点内线程间的动态负载均衡,确保集群中的所有计算资源能够被充分利用.在通信方面,RGraph通过对IB verbs的有效封装,实现了符合图计算语义的多线程RDMA通信模型.相比于传统的MPI,RGraph的通信机制可以减少计算节点间2.1倍以上的通信延迟.最后,利用5个真实大图数据集和1个合成数据集,在拥有8个计算节点的高性能集群上测试了RGraph.实验结果表明,RGraph具有明显的性能优势.相比于Powergraph,RGraph具有10.1-16.8倍的加速比,与当前最先进的分布式图处理系统相比,RGraph的加速比仍能达到2.89-5.12倍.同时,RGraph在极度偏斜的幂律图上也能保证稳定的性能优势. 展开更多
关键词 分布式 图处理系统 高性能 RDMA 动态负载均衡 RDMA通信模型
下载PDF
基于RDMA高速网络的高性能分布式系统 被引量:6
6
作者 魏星达 陈榕 陈海波 《大数据》 2018年第4期1-14,共14页
高速的RDMA网络设备已经被广泛部署在现代数据中心。RDMA可以从两方面加速分布式系统:首先可以提供一种快速的消息处理机制,其次RDMA提供了新的硬件原语。这极大地提升了处理器的利用率以及对RDMA的使用率,但是需要重新设计系统。介绍了... 高速的RDMA网络设备已经被广泛部署在现代数据中心。RDMA可以从两方面加速分布式系统:首先可以提供一种快速的消息处理机制,其次RDMA提供了新的硬件原语。这极大地提升了处理器的利用率以及对RDMA的使用率,但是需要重新设计系统。介绍了RDMA的研究进展,概述了近年来利用RDMA加速分布式系统的工作,包括基于RDMA重新设计的系统以及如何更好地利用RDMA的设计,并给出了未来的研究方向。 展开更多
关键词 分布式系统 键值存储系统 图处理系统 联机事务处理系统 远程过程调用
下载PDF
面向分布式图计算作业的容错技术研究综述 被引量:4
7
作者 张程博 李影 贾统 《软件学报》 EI CSCD 北大核心 2021年第7期2078-2102,共25页
随着图数据规模的日益庞大和图计算作业的日益复杂,图计算的分布化成为必然趋势.然而图计算作业在运行过程中面临着分布式图计算系统内外各种来源的非确定性所带来的严峻的可靠性问题.首先分析了分布式图计算框架中不确定性因素和不同... 随着图数据规模的日益庞大和图计算作业的日益复杂,图计算的分布化成为必然趋势.然而图计算作业在运行过程中面临着分布式图计算系统内外各种来源的非确定性所带来的严峻的可靠性问题.首先分析了分布式图计算框架中不确定性因素和不同类型图计算作业的鲁棒性,并提出了基于成本、效率和质量3个维度的面向分布式图计算作业的容错技术评估框架,然后分别对分布式图计算的4种容错机制——基于检查点的容错、基于日志的容错、基于复制的容错、基于算法补偿的容错等机制结合国内外相关工作做了深入的分析、评估和比较.最后对未来的研究方向进行了展望. 展开更多
关键词 图数据 故障和失效 分布式图计算 容错机制 非确定性软件系统
下载PDF
基于图查询系统的图计算引擎
8
作者 柯学翰 陈榕 《大数据》 2019年第4期16-26,共11页
在目前的研究中,图查询和图计算系统是相互独立的,但在实际应用中两者通常是同时存在的。为解决相互独立的系统带来的存储空间浪费、数据一致性维护等问题,基于图查询系统设计了一种图计算引擎,使得在单一系统中支持查询和计算操作。通... 在目前的研究中,图查询和图计算系统是相互独立的,但在实际应用中两者通常是同时存在的。为解决相互独立的系统带来的存储空间浪费、数据一致性维护等问题,基于图查询系统设计了一种图计算引擎,使得在单一系统中支持查询和计算操作。通过为键值对存储增加图计算索引、基于拉取模式的数据更新等方式,有效地提高系统中数据遍历的性能和减少数据传输的成本,同时针对数据更新和负载均衡等方面提出了相关优化。实验表明,该图计算引擎能够达到与传统图计算系统PowerLyra和Gemini相近或比其更优的性能,且具有较好的可扩展性。 展开更多
关键词 分布式系统 图计算 图查询 键值对存储
下载PDF
分布式图处理系统技术综述 被引量:10
9
作者 王童童 荣垂田 +1 位作者 卢卫 杜小勇 《软件学报》 EI CSCD 北大核心 2018年第3期569-586,共18页
图作为一种基本的数据类型,是对现实世界中对象及其关联关系的一种抽象.现实中,许多科学问题都可以被模型化为图的问题,因此,对图数据进行分析非常重要.图数据分析在语义Web分析、社交网络、生物基因分析以及信息检索等领域有着广泛的应... 图作为一种基本的数据类型,是对现实世界中对象及其关联关系的一种抽象.现实中,许多科学问题都可以被模型化为图的问题,因此,对图数据进行分析非常重要.图数据分析在语义Web分析、社交网络、生物基因分析以及信息检索等领域有着广泛的应用.随着移动互联、物联网等信息技术的发展,图数据的规模处于持续增长的状态.为了能够应对大规模图数据的高效分析和计算,Google提出了Pregel分布式图处理框架.此后,学术界和工业界提出了许多基于Pregel框架的优化技术和系统实现.在充分调研和分析的基础上,首先总结出分布式图处理系统的3个优化目标;其次,从计算粒度、任务调度、通信方式、负载划分这4个维度,综述现有分布式图处理系统中的各类优化技术;最后,对该领域未来的研究内容和发展方向进行了探讨与展望. 展开更多
关键词 分布式图处理系统 计算粒度 任务调度 通信方式 负载划分
下载PDF
基于GPU的分布式图系统-PowerGraph分析
10
作者 孔德宇 谢希科 +1 位作者 邹凯 李琦 《电子技术(上海)》 2022年第12期4-5,共2页
现有的分布式图处理系统缺少对计算资源垂直扩展和水平扩展的有效支持。基于此,提出了基于GPU计算服务的分布式图系统G-PowerGraph,该系统可以轻松的使用高性能GPU计算资源,提高了原有PowerGraph系统的计算性能和可扩展性。
关键词 分布式图处理系统 分布式数据管理 图计算
原文传递
Concurrent Competitive Wave Approach toHyper-Distributed Hyper-Parallel AIProcessing
11
作者 帅典勋 《Journal of Computer Science & Technology》 SCIE EI CSCD 1997年第6期543-554,共12页
This paper preseflts a new approach of the synchronous homogeneous concurrent propagation of competitive waves for the purpose of hyper-distributed hyper-parallel heuristic problem-solving. The concurrent algorithm, m... This paper preseflts a new approach of the synchronous homogeneous concurrent propagation of competitive waves for the purpose of hyper-distributed hyper-parallel heuristic problem-solving. The concurrent algorithm, mechanism and their properties are given. In comparison with the traditional AI algorithms, the approach is featured by the knowledge-based problem-solving in the distributed parallel environment, the feasibility for hardware implementation and the various applications. 展开更多
关键词 Hyper-distributed hyper-parallel processing synchronous homogeneous competitive wave heuristic search implicit AND/OR graph concurrent algorithm
原文传递
Asynchronous Heterogeneous Mechanism for Hyper-Distributed Hyper-Parallel Al Processing
12
作者 帅典勋 《Journal of Computer Science & Technology》 SCIE EI CSCD 1999年第3期234-241,共8页
This paper proposes an asynchronous heterogeneous propagation approach of concurrent competitive waves for hyper-distributed hyper-parallel heuris tic problem-solving. This approach is much more powerful than the sync... This paper proposes an asynchronous heterogeneous propagation approach of concurrent competitive waves for hyper-distributed hyper-parallel heuris tic problem-solving. This approach is much more powerful than the synchronous homogeneous mechanisms and the asynchronous superimposition algorithms, and has universal validity and availability. The basic conception, concurrent algorithm and its properties are discussed. The theory and conclusions drawn in this paper are of essential importance for the hardware implementation of hyper-distributed hyper-parallel processing based on chaotic cellular networks. 展开更多
关键词 asynchronous heterogeneous competitive waves hyper-distributed hyper-parallel processing concurrent algorithm heuristic search implicit AND/OR graph
原文传递
上一页 1 下一页 到第
使用帮助 返回顶部