期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
轻量级大数据运算系统Helius 被引量:1
1
作者 丁梦苏 陈世敏 《计算机应用》 CSCD 北大核心 2017年第2期305-310,共6页
针对Spark数据集不可变,以及Java虚拟机(JVM)依赖环境引起的代码执行、内存管理、数据序列化/反序列化等开销过多的不足,采用C/C++语言,设计并实现了一种轻量级的大数据运算系统——Helius。Helius支持Spark的基本操作,同时允许数据集... 针对Spark数据集不可变,以及Java虚拟机(JVM)依赖环境引起的代码执行、内存管理、数据序列化/反序列化等开销过多的不足,采用C/C++语言,设计并实现了一种轻量级的大数据运算系统——Helius。Helius支持Spark的基本操作,同时允许数据集整体修改;同时,Helius利用C/C++优化内存管理和网络传输,并采用stateless worker机制简化分布式计算平台的容错恢复过程。实验结果显示:5次迭代中,Helius运行PageRank算法的时间仅为Spark的25.12%~53.14%,运行TPCH Q6的时间仅为Spark的57.37%;在PageRank迭代1次的基础上,运行在Helius系统下时,master节点IP接收和发送数据量约为运行于Spark系统的40%和15%,而且200 s的运行过程中,Helius占用的总内存约为Spark的25%。实验结果与分析表明,与Spark相比,Helius具有节约内存、不需要序列化和反序列化、减少网络交互以及容错简单等优点。 展开更多
关键词 内存计算 大数据运算 分布式计算 有向无环图调度 容错恢复
下载PDF
一种基于申威平台可靠性评测方法的设计与实现 被引量:1
2
作者 高顺凯 《舰船电子工程》 2021年第10期150-154,共5页
论文针对目前国产化软硬件平台中缺乏可靠性测试方法的现状,提供了一种基于国产化软硬件平台的可靠性测试系统及方法,采用软硬件冗余技术、测试性设计技术和故障注入技术,实现了可靠性指标的量化,弥补了国产化软硬件平台可靠性测试的不... 论文针对目前国产化软硬件平台中缺乏可靠性测试方法的现状,提供了一种基于国产化软硬件平台的可靠性测试系统及方法,采用软硬件冗余技术、测试性设计技术和故障注入技术,实现了可靠性指标的量化,弥补了国产化软硬件平台可靠性测试的不足。通过试验,验证了该方法的可行性和有效性。 展开更多
关键词 可靠性 故障检测 容错恢复 机内测试
下载PDF
L+1容错恢复策略在复杂军事网络中的应用仿真
3
作者 陈晔 赵金超 陈长宇 《海军工程大学学报》 CAS 北大核心 2012年第2期108-112,共5页
以标准3×3网格为基础网络,介绍了L+1容错恢复策略的概念和恢复原理,以海上舰艇编队作战系统网络为研究对象,使用Matlab-Simulink仿真工具,通过对阻塞概率、平均路径长度、路径重新分配概率和有效利用率4个指标的仿真,对比了该网络... 以标准3×3网格为基础网络,介绍了L+1容错恢复策略的概念和恢复原理,以海上舰艇编队作战系统网络为研究对象,使用Matlab-Simulink仿真工具,通过对阻塞概率、平均路径长度、路径重新分配概率和有效利用率4个指标的仿真,对比了该网络在无策略、备份多路和L+1容错恢复3种策略下网络的恢复程度,验证了L+1容错恢复策略的有效性和可行性。 展开更多
关键词 复杂网络 通信网络结构 L+1容错恢复策略 阻塞概率
下载PDF
基于Peer-to-Peer的分布式存储系统的设计 被引量:45
4
作者 徐非 杨广文 鞠大鹏 《软件学报》 EI CSCD 北大核心 2004年第2期268-277,共10页
分布式存储系统是p2p技术的一个重要的研究领域.当前对p2p系统的结构研究已经能够高度有效地控制节点路由次数,人们逐渐转向追求更为实际的路由距离.作为存储应用,分布式系统需要具备综合容错-恢复能力.在分析现有研究的基础上,建立一... 分布式存储系统是p2p技术的一个重要的研究领域.当前对p2p系统的结构研究已经能够高度有效地控制节点路由次数,人们逐渐转向追求更为实际的路由距离.作为存储应用,分布式系统需要具备综合容错-恢复能力.在分析现有研究的基础上,建立一个接近实际网络节点分布的计算模型,通过已知的节点最优路径情况动态地预测网络真实路径的长度.利用评估算法聚集网络中相近的节点,使得同一分组的节点之间的距离最小化,提供更加合理的路由选择.对于存储的可靠性,提出了节点交叉管理模型和相应的数据迁移算法.这种管理策略及迁移算法的本地性特点显著提高了系统对各种事件的反应能力,保证了系统的可持续性.模拟结果显示,分组为路由选择提供了确实有效的判据,而且可以扩展到更大的规模. 展开更多
关键词 分布式存储 路由方案 分组 容错-恢复 本地性
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部