基于RDMA高速网络的高性能分布式系统 被引量：6

1

作者 魏星达 陈榕 陈海波 《大数据》 2018年第4期1-14,共14页

高速的RDMA网络设备已经被广泛部署在现代数据中心。RDMA可以从两方面加速分布式系统:首先可以提供一种快速的消息处理机制,其次RDMA提供了新的硬件原语。这极大地提升了处理器的利用率以及对RDMA的使用率,但是需要重新设计系统。介绍了... 高速的RDMA网络设备已经被广泛部署在现代数据中心。RDMA可以从两方面加速分布式系统:首先可以提供一种快速的消息处理机制,其次RDMA提供了新的硬件原语。这极大地提升了处理器的利用率以及对RDMA的使用率,但是需要重新设计系统。介绍了RDMA的研究进展,概述了近年来利用RDMA加速分布式系统的工作,包括基于RDMA重新设计的系统以及如何更好地利用RDMA的设计,并给出了未来的研究方向。 展开更多

关键词 分布式系统 键值存储系统 图处理系统 联机事务处理系统 远程过程调用

下载PDF 职称材料

你的操作系统安全吗?

2

作者 蔡璐 陈海波 《科学世界》 2023年第10期108-113,共6页

手机、电脑等已成为大家几乎每天都会使用的电子设备。在使用的过程中,经常会遇见“操作系统需要更新”或“系统有漏洞待修复”的提醒。那么,操作系统究竟是什么?为什么会出现漏洞?此外,随着“云计算”和“万物互联”等概念的出现,操作... 手机、电脑等已成为大家几乎每天都会使用的电子设备。在使用的过程中,经常会遇见“操作系统需要更新”或“系统有漏洞待修复”的提醒。那么,操作系统究竟是什么?为什么会出现漏洞?此外,随着“云计算”和“万物互联”等概念的出现,操作系统也在不断演变。与终端设备的操作系统相比,云端操作系统有何不同?是否会受到更多的安全威胁?上海交通大学的陈海波教授因在操作系统安全方面的研究获得2022年度陈嘉庚青年科学奖。本刊对陈教授进行了专访。 展开更多

关键词 操作系统安全 云计算 上海交通大学 安全威胁 万物互联 终端设备 电子设备 漏洞

原文传递

基于虚拟化内存隔离的Rowhammer攻击防护机制 被引量：4

3

作者 石培涛 刘宇涛 陈海波 《信息安全学报》 CSCD 2017年第4期1-12,共12页

随着虚拟化技术的发展与云计算的流行,虚拟化环境下的安全防护问题一直受到广泛的关注。最近的Rowhammer攻击打破了人们对于硬件的信赖,同时基于Rowhammer攻击的各种攻击方式已经威胁到了虚拟化环境下的虚拟机监视器以及其他虚拟机的安... 随着虚拟化技术的发展与云计算的流行,虚拟化环境下的安全防护问题一直受到广泛的关注。最近的Rowhammer攻击打破了人们对于硬件的信赖,同时基于Rowhammer攻击的各种攻击方式已经威胁到了虚拟化环境下的虚拟机监视器以及其他虚拟机的安全。目前业界已有的对Rowhammer攻击的防御机制或者局限于修改物理硬件,或者无法很好的部署在虚拟化环境下。本文提出一种方案,该方案实现了一套在虚拟机监视器层面的Rowhammer感知的内存分配机制,能够在虚拟机监视器层面以虚拟机的粒度进行Rowhammer攻击的隔离防护。测试表明,该方案能够在不修改硬件,以及引入较小的性能开销(小于6%的运行时开销和小于0.1%的内存开销)的前提下,成功阻止从虚拟机到虚拟机监视器以及跨虚拟机的Rowhammer攻击。 展开更多

关键词 虚拟化安全 内存分配 Rowhammer攻击 XEN

下载PDF 职称材料

虚拟化安全:机遇,挑战与未来 被引量：4

4

作者 刘宇涛 陈海波 《网络与信息安全学报》 2016年第10期17-28,共12页

随着云计算的流行,虚拟化安全问题受到了广泛的关注。通过引入额外的一层抽象,虚拟化技术为整个系统提供了更强级别的隔离机制,并为上层软件提供了一系列自底向上的安全服务。另一方面,抽象的引入所带来的复杂性提升和性能损失,都对虚... 随着云计算的流行,虚拟化安全问题受到了广泛的关注。通过引入额外的一层抽象,虚拟化技术为整个系统提供了更强级别的隔离机制,并为上层软件提供了一系列自底向上的安全服务。另一方面,抽象的引入所带来的复杂性提升和性能损失,都对虚拟化安全的研究带来了巨大的挑战。介绍了上海交通大学并行与分布式系统研究所近几年来在虚拟化安全领域所做的一系列具有代表性的工作,包括利用虚拟化提供可信执行环境、虚拟机监控、域内隔离等一系列安全服务,以及对虚拟化环境的可信计算基和跨域调用等方面进行优化的成果,并对当前和未来虚拟化安全领域的问题和探索方向进行了总结。 展开更多

关键词 虚拟化安全 可信执行环境 虚拟机自省 域内隔离 可信计算基 跨域调用

下载PDF 职称材料

基于图结构索引的分布式OLAP加速方法

5

作者 沈斯杰 陈榕 +1 位作者 陈海波 臧斌宇 《软件学报》 EI CSCD 北大核心 2023年第10期4661-4680,共20页

随着业务数据的规模增大,一些重要的应用场景需要使用分布式在线分析处理(OLAP)支持大规模数据的分析,例如商务智能(BI),企业资源计划(ERP),用户行为分析等.同时,分布式OLAP打破单机存储的限制,可以将数据放在内存中以提升OLAP的处理性... 随着业务数据的规模增大,一些重要的应用场景需要使用分布式在线分析处理(OLAP)支持大规模数据的分析,例如商务智能(BI),企业资源计划(ERP),用户行为分析等.同时,分布式OLAP打破单机存储的限制,可以将数据放在内存中以提升OLAP的处理性能.然而,基于内存的分布式OLAP在消除磁盘I/O后,性能瓶颈转移到了连接操作.连接操作是OLAP中的一种常用操作,会进行大量的数据读取与计算操作.通过对现有的几种连接操作方式进行分析,提出了一种能够加速连接操作的图结构索引以及基于图结构索引的连接操作方式LinkJoin.图结构索引通过用户所指定的连接关系,将数据在内存中的位置以图结构的形式进行存储.基于图结构索引的连接方式,不仅能够有等同于哈希连接的较低复杂度,而且在执行过程中能减少数据读取与计算操作次数.将目前先进的开源内存OLAP系统MonetDB从单机系统扩展成分布式系统,并且在该系统上设计与实现了基于图结构索引的连接操作方式.针对该系统的图索引结构,列式存储以及分布式执行引擎这3个重要方面,进行一系列设计与优化,以提升系统的分布式OLAP处理性能.测试结果表明,在TPC-H标准测试中,基于图结构索引的连接操作对于有连接操作的查询的平均性能提升达1.64倍(最多达4.1倍).对于这些查询中的连接操作,性能提升达9.8–22.1倍. 展开更多

关键词 OLAP系统 分布式系统 连接操作 索引技术 图结构

下载PDF 职称材料

基于AMD硬件内存加密机制的关键数据保护方案 被引量：3

6

作者 吴宇明 刘宇涛 陈海波 《信息安全学报》 CSCD 2018年第1期31-47,共17页

长期以来,保护应用程序关键数据(如加密密钥、用户隐私信息等)的安全一直是个重要问题,操作系统本身巨大的可信计算基使其不可避免的具有许多漏洞,而这些漏洞则会被攻击者利用进而威胁到应用程序的关键数据安全。虚拟化技术的出现为解... 长期以来,保护应用程序关键数据(如加密密钥、用户隐私信息等)的安全一直是个重要问题,操作系统本身巨大的可信计算基使其不可避免的具有许多漏洞,而这些漏洞则会被攻击者利用进而威胁到应用程序的关键数据安全。虚拟化技术的出现为解决此类问题提供了一定程度的帮助,虚拟化场景下虚拟机监控器实际管理物理内存,可以通过拦截虚拟机的关键操作为应用程序提供保护,而硬件内存加密机制则能够解决应用程序在运行时内存中明文数据被泄露的问题。本文基于虚拟化技术和AMD的硬件内存加密机制,提出了一套高效的关键数据保护方案,并通过应用解耦和技术将关键数据与代码与其余的正常数据与代码分离并置于隔离的安全环境中运行从而达到保护关键数据的目的。测试显示,软件带来的系统性能开销小于1%,关键部分的性能开销小于6%,常见应用的延迟在接受范围内。系统能够成功保护应用程序如私钥等关键数据免受恶意操作系统的读取与Bus Snooping、Cold Boot等物理攻击。 展开更多

关键词 硬件内存加密 数据保护 内存泄露 虚拟化

下载PDF 职称材料

基于IPT硬件的内核模块ROP透明保护机制 被引量：3

7

作者 王心然 刘宇涛 陈海波 《软件学报》 EI CSCD 北大核心 2018年第5期1333-1347,共15页

Return-Oriented Programming(ROP)是一种流行的利用缓冲区溢出漏洞进行软件攻击的方法.它通过覆写程序栈上的返回地址,使程序在之后执行返回指令时跳转到攻击者指定位置的代码,因而违反了程序原本期望的控制流.控制流完整性(control-fl... Return-Oriented Programming(ROP)是一种流行的利用缓冲区溢出漏洞进行软件攻击的方法.它通过覆写程序栈上的返回地址,使程序在之后执行返回指令时跳转到攻击者指定位置的代码,因而违反了程序原本期望的控制流.控制流完整性(control-flow integrity,简称CFI)检查是目前最流行的ROP防御机制,它将每条控制流跳转指令的合法目标限制在一个合法目标地址集合内,从而阻止攻击者恶意改变程序的控制流.现有的CFI机制大多用于保护用户态程序,而当前已有诸多针对内核态的攻击被曝出,其中,Return-Oriented rootkits(ROR)[1]就是在有漏洞的内核模块中进行ROP攻击,达到执行内核任意代码的目的.相对于传统的基于用户空间的ROP攻击,ROR攻击更加危险.根据Linux CVE的数据统计,在2014年~2016年间,操作系统内核内部的漏洞有76%出现在内核模块中,其中,基本上所有被公布出来的攻击都发生在内核模块.由此可见,内核模块作为针对内核攻击的高发区,非常危险.另一方面,当前鲜有针对操作系统内核的CFI保护方案,而已有的相关系统都依赖于对内核的重新编译,这在很大程度上影响了它们的应用场景.针对这些问题,首次提出利用Intel Processor Trace(IPT)硬件机制并结合虚拟化技术,对内核模块进行透明且有效的保护,从而防御针对它的ROP攻击.实验结果表明,该系统具有极强的保护精确性、兼容性和高效性. 展开更多

关键词 ROP CFI 内核模块 IPT 虚拟化 KVM

下载PDF 职称材料

一种检测竞争并自调节的动态读写锁 被引量：2

8

作者 张恒 陈海波 《小型微型计算机系统》 CSCD 北大核心 2016年第9期1904-1909,共6页

传统的同步机制设计限制了多核平台上多线程应用的可扩展性,其中被广泛使用的读写锁问题特别突出.目前的读写锁研究大多偏向读多写少的场景,其方法是尽量提高读者执行的效率,将开销转移到写者执行的过程中.然而写者的执行过程会使得临... 传统的同步机制设计限制了多核平台上多线程应用的可扩展性,其中被广泛使用的读写锁问题特别突出.目前的读写锁研究大多偏向读多写少的场景,其方法是尽量提高读者执行的效率,将开销转移到写者执行的过程中.然而写者的执行过程会使得临界区进入互斥状态,此时只允许一个线程在临界区中执行,所以大量的写者执行开销会降低多线程应用程序的性能.本文通过研究读者与写者加锁特点,提出一种动态读写锁.动态读写锁通过检测读者加锁时竞争情况,循序渐进地提高读者执行的可扩展性,避免给写者执行增加无意义的开销.测试结果表明,动态读写锁在50%至99%读比例下表现出极好的性能,并且能对内存键值系统带来较为全面的性能提升. 展开更多

关键词 动态读写锁 可扩展性 读写比例 多核

下载PDF 职称材料

虚拟环境下硬件事务内存辅助的同步机制 被引量：2

9

作者 余倩倩 董明凯 陈海波 《计算机科学与探索》 CSCD 北大核心 2017年第9期1429-1438,共10页

在虚拟化系统中,双重调度问题普遍存在。过度负载的现象进一步加剧了双重调度问题,造成了不可忽视的性能下降。如何在保护系统公平性的同时,缓解双重调度问题带来的负面影响,提高系统的整体性能,成为一个重要的课题。通过研究双重调度... 在虚拟化系统中,双重调度问题普遍存在。过度负载的现象进一步加剧了双重调度问题,造成了不可忽视的性能下降。如何在保护系统公平性的同时,缓解双重调度问题带来的负面影响,提高系统的整体性能,成为一个重要的课题。通过研究双重调度引发的同步机制效率问题,结合硬件事务内存的特点,为虚拟机内核设计了新的同步机制SPINRTM。一方面,SPINRTM基于硬件事务内存不可被打断的特性,保护了虚拟机内的临界区间,使其不被打断,有效缓解了双重调度问题;另一方面,SPINRTM结合了传统的排队自旋锁,保护了硬件事务内存的运行效率,也维护了系统的公平性。测试证明,在超负载的情况下,SPINRTM能够在保护系统公平性的同时,提高系统的整体性能。 展开更多

关键词 虚拟化 硬件事务内存 同步机制

下载PDF 职称材料

基于体系结构扩展的云计算安全增强研究 被引量：2

10

作者 刘宇涛 夏虞斌 陈海波 《集成技术》 2012年第4期30-33,共4页

近年来,云计算的安全问题得到了广泛的关注。由于云计算模式的共享、外包和开发的特性,用户并不拥有对计算和数据的完全控制;相反,云平台内部的恶意系统管理员可在用户不知情的情况下窃取或篡改用户的关键数据。研究者们为保护云计算数... 近年来,云计算的安全问题得到了广泛的关注。由于云计算模式的共享、外包和开发的特性,用户并不拥有对计算和数据的完全控制;相反,云平台内部的恶意系统管理员可在用户不知情的情况下窃取或篡改用户的关键数据。研究者们为保护云计算数据的隐私性与完整性,对体系结构进行了扩展,尝试缩小云安全所依赖的软硬件栈。本文阐述了这些研究中采用的主要技术类型,包括内存隔离增强、安全处理器加密等。 展开更多

关键词 云计算安全 虚拟化安全 体系结构扩展

下载PDF 职称材料

基于分布式信息流控制的无障碍辅助性服务安全加固 被引量：2

11

作者 李晓娟 陈海波 《软件学报》 EI CSCD 北大核心 2018年第5期1318-1332,共15页

随着安卓系统的广泛使用,系统提供的功能也越来越多,其中一个重要特性是1.6版本中引入并在4.0及以上版本中优化的无障碍辅助性服务.通过无障碍辅助功能,应用不仅可以获得输入框输入文本等窗口元素信息,还可以与应用窗口自动地进行双向交... 随着安卓系统的广泛使用,系统提供的功能也越来越多,其中一个重要特性是1.6版本中引入并在4.0及以上版本中优化的无障碍辅助性服务.通过无障碍辅助功能,应用不仅可以获得输入框输入文本等窗口元素信息,还可以与应用窗口自动地进行双向交互(如获得按钮信息点击按钮).然而,这些特性一旦被滥用,将会给用户带来巨大的安全威胁.对安卓系统中的无障碍辅助性服务进行了深入研究,分析了其可能被滥用的途径,并找出安全缺陷及其产生原因.然后提出了基于分布式信息流的控制机制标记,并跟踪无障碍辅助性服务和无障碍事件以进行安全加固.实现了一个名为Tassel的安全系统,以防止无障碍辅助性服务滥用.经过测试,该系统可以在不影响系统其他功能正常使用的前提下,保证服务的使用安全,且系统整体的性能影响很小. 展开更多

关键词 安卓系统 无障碍辅助性服务 系统漏洞与安全 分布式信息流控制

下载PDF 职称材料

基于广播的分布式共享内存 被引量：1

12

作者 郑阳 陈海波 臧斌宇 《上海交通大学学报》 EI CAS CSCD 北大核心 2018年第10期1333-1338,共6页

提出一种基于软件实现的分布式共享内存.借鉴基于广播的缓存一致性,采用不同于以往内存一致性的协议设计,以通过减少维护内存一致性所需要等待的网络消息来提高分布式共享内存的整体性能.基于这种协议设计,进一步给出切实的实现方法和... 提出一种基于软件实现的分布式共享内存.借鉴基于广播的缓存一致性,采用不同于以往内存一致性的协议设计,以通过减少维护内存一致性所需要等待的网络消息来提高分布式共享内存的整体性能.基于这种协议设计,进一步给出切实的实现方法和针对性的优化.测试表明,这种设计相较于以往的分布式内存协议,最高可以获得45%的性能提升. 展开更多

关键词 分布式共享内存 内存一致性 分布式系统

下载PDF 职称材料

面向SGX2代新型可信执行环境的内存优化系统 被引量：4

13

作者 李明煜 夏虞斌 陈海波 《软件学报》 EI CSCD 北大核心 2022年第6期2012-2029,共18页

可信执行环境(trusted execution environment, TEE)是一种应用于隐私计算保护场景的体系结构方案,能为涉及隐私相关的数据和代码提供机密性和完整性的保护,近年来成为机器学习隐私保护、加密数据库、区块链安全等场景的研究热点.主要... 可信执行环境(trusted execution environment, TEE)是一种应用于隐私计算保护场景的体系结构方案,能为涉及隐私相关的数据和代码提供机密性和完整性的保护,近年来成为机器学习隐私保护、加密数据库、区块链安全等场景的研究热点.主要讨论在新型可信硬件保护下的系统的性能问题:首先对新型可信硬件(IntelSGX2代)进行性能剖析,发现在配置大安全内存的前提下, Intel SGX1代旧有的换页开销不再成为主要矛盾.配置大容量安全内存引起了两个新的问题:首先,普通内存的可用范围被压缩,导致普通应用,尤其是大数据应用的换页开销加剧;其次,安全内存通常处于未被用满阶段,导致整体物理内存的利用率不高.针对以上问题,提出一种全新的轻量级代码迁移方案,将普通应用的代码动态迁入安全内存中,而数据保留在原地不动.迁移后的代码可使用安全内存,避免因磁盘换页导致的剧烈性能下降.实验结果表明:该方法可将普通应用因为磁盘换页导致的性能开销降低73.2%-98.7%,同时不影响安全应用的安全隔离和正常使用. 展开更多

关键词 机密计算 可信执行环境 系统安全 性能优化

下载PDF 职称材料

基于TrustZone技术的安全移动远程控制系统 被引量：2

14

作者 韩金宸 夏虞斌 +1 位作者 陈海波 臧斌宇 《计算机工程》 CAS CSCD 北大核心 2016年第4期147-154,共8页

移动设备的发展使得用户能够手持设备远程连接桌面环境办公,但移动平台的安全隐患给移动远程控制带来巨大的风险。为此,利用ARM处理器的安全扩展Trust Zone技术,设计一个具有高安全性的远程控制系统Trust RFB。通过对传输信道加密,并把... 移动设备的发展使得用户能够手持设备远程连接桌面环境办公,但移动平台的安全隐患给移动远程控制带来巨大的风险。为此,利用ARM处理器的安全扩展Trust Zone技术,设计一个具有高安全性的远程控制系统Trust RFB。通过对传输信道加密,并把远程控制客户端隐私相关的逻辑放入Trust Zone所提供的安全域内,有效地防止攻击者利用恶意软件、恶意系统甚至恶意远程控制客户端窃取用户的隐私。在Exynos4412开发板上实现Trust RFB的原型,安全测试结果表明,Trust RFB能够抵御Rootkit和软件重打包等多种攻击手段,并且在日常使用场景中网络带宽仅下降1.2%。 展开更多

关键词 远程控制 TrustZone技术 远程帧缓冲协议 虚拟网络计算 ANDROID系统 ARM架构

下载PDF 职称材料

面向多处理器虚拟机的动态NUMA方法 被引量：2

15

作者 施继成 陈海波 臧斌宇 《小型微型计算机系统》 CSCD 北大核心 2015年第4期677-682,共6页

NUMA内存技术在增加了计算机系统内存带宽的同时,其跨节点访存延迟高的特点也增加了虚拟化平台的内存管理难度.现有的多核虚拟机NUMA优化方法大多为静态方法,即无需动态调节虚拟机状态.这些方法大都限制了虚拟化监控器调度虚拟CPU的灵活... NUMA内存技术在增加了计算机系统内存带宽的同时,其跨节点访存延迟高的特点也增加了虚拟化平台的内存管理难度.现有的多核虚拟机NUMA优化方法大多为静态方法,即无需动态调节虚拟机状态.这些方法大都限制了虚拟化监控器调度虚拟CPU的灵活性,降低了虚拟化平台负载均衡的能力,而影响虚拟机的运行效率.针对该问题,提出动态NUMA方法——在告知虚拟机NUMA拓扑结构的情况下,该方法通过调节虚拟机内操作系统NUMA相关数据结构方法,达到配合虚拟机监控器任务调度器的目的,实现虚拟机运行效率的提升.相较于静态方法,本文提出调节虚拟机NUMA数据结构,以适应虚拟机监控器调度器的动态方法.此方法提高了虚拟CPU的调度灵活性,提高了虚拟化平台负载均衡的能力,从而保证了多处理器虚拟机的运行效率. 展开更多

关键词 虚拟机监控器 多处理器 虚拟化 NUMA

下载PDF 职称材料

一种使用索引式备份的范围查询方法 被引量：2

16

作者 薛翔 沈斯杰 陈榕 《小型微型计算机系统》 CSCD 北大核心 2018年第8期1781-1786,共6页

范围查询是数据库支持的重要功能之一.在分布式数据库中,范围查询具有结果不唯一且数据量大的特点,因而中间结果的传输成本较高;同时,在以唯一主键散列存储的数据上查询非主键列上的范围条件,得到的命中数据较为分散,造成传输开销大和... 范围查询是数据库支持的重要功能之一.在分布式数据库中,范围查询具有结果不唯一且数据量大的特点,因而中间结果的传输成本较高;同时,在以唯一主键散列存储的数据上查询非主键列上的范围条件,得到的命中数据较为分散,造成传输开销大和计算复杂度的问题.针对以上问题和基于高可用系统中数据存在多个备份的观察,本文设计了一种使用索引式备份的范围查询方法,通过将备份数据依据索引列重构实现范围查询友好的索引式备份,优化基于非主键列的范围查询任务.使用索引式备份的范围查询具有数据聚集的特点,能够有效减少数据传输成本、提高计算效率.实验结果显示,在TPC-H基准测试中,本方法相对于传统B+树索引方法具有8.4至16.7倍的性能提升,且具有较好的可扩展性. 展开更多

关键词 分布式数据库 范围查询 二级索引 索引式备份

下载PDF 职称材料

面向图计算系统的异步计算-加载模型 被引量：1

17

作者 周晓丽 陈榕 《小型微型计算机系统》 CSCD 北大核心 2019年第6期1221-1226,共6页

本文提出了全新的异步计算-加载模型,该模型是对核外(out-of-core)图计算系统的进一步优化.在异步计算-加载模型中,计算过程和I/O加载过程并行进行,较长的I/O加载时间能够"隐藏"数据计算时间,从用户程序角度来看,整体系统的... 本文提出了全新的异步计算-加载模型,该模型是对核外(out-of-core)图计算系统的进一步优化.在异步计算-加载模型中,计算过程和I/O加载过程并行进行,较长的I/O加载时间能够"隐藏"数据计算时间,从用户程序角度来看,整体系统的运行时间几乎只有I/O加载时间,从而提高系统性能;此外,本文的异步模型能够根据不同的访问需求和硬件特性创建不同的线程组:计算线程和I/O加载线程.计算线程数量由服务器计算能力决定,I/O线程数量由服务器的I/O处理能力决定,这样既保证充分利用硬盘带宽又保证高效的计算;异步模型利用LIBAIO引擎的batch机制使得各线程的工作负载更加均衡.实验结果说明,与原先的同步模型相比,本文的模型能将整体系统性能提升高达一倍,并且有更好的带宽利用率和负载平衡性. 展开更多

关键词 分布式图计算 异步计算-加载模型 IOC LIBAIO

下载PDF 职称材料

分布式图计算框架混合计算模式的研究 被引量：1

18

作者 丁鑫 陈榕 陈海波 《小型微型计算机系统》 CSCD 北大核心 2015年第4期665-670,共6页

分析了分布式图计算框架的同步和异步计算模式在调度开销和收敛速度上存在的优点与不足.同步计算模式调度开销小,但是收敛较慢;而异步计算模式收敛较快,但调度开销大.基于上述发现,提出一种混合计算模式,能够在分布式环境下有效地结合... 分析了分布式图计算框架的同步和异步计算模式在调度开销和收敛速度上存在的优点与不足.同步计算模式调度开销小,但是收敛较慢;而异步计算模式收敛较快,但调度开销大.基于上述发现,提出一种混合计算模式,能够在分布式环境下有效地结合同步与异步计算模式的优点克服各自不足,以获得最优性能.混合计算模式采用"同步控制流"以降低分布式环境下的调度开销,同时采用"异步数据流"使计算过程使用较新的数据以加快收敛速度.基于多个典型图算法和真实大规模图的评测显示,混合计算模式的性能是原有同步计算模式的1.2倍到2.4倍,计算量平均减少30%;相对于异步计算模式通过减少调度开销,整体性能可以提升至其2.3倍到4.6倍. 展开更多

关键词 分布式 图计算 同步计算模式 异步计算模式 数据竞争

下载PDF 职称材料

基于图查询系统的图计算引擎

19

作者 柯学翰 陈榕 《大数据》 2019年第4期16-26,共11页

在目前的研究中,图查询和图计算系统是相互独立的,但在实际应用中两者通常是同时存在的。为解决相互独立的系统带来的存储空间浪费、数据一致性维护等问题,基于图查询系统设计了一种图计算引擎,使得在单一系统中支持查询和计算操作。通... 在目前的研究中,图查询和图计算系统是相互独立的,但在实际应用中两者通常是同时存在的。为解决相互独立的系统带来的存储空间浪费、数据一致性维护等问题,基于图查询系统设计了一种图计算引擎,使得在单一系统中支持查询和计算操作。通过为键值对存储增加图计算索引、基于拉取模式的数据更新等方式,有效地提高系统中数据遍历的性能和减少数据传输的成本,同时针对数据更新和负载均衡等方面提出了相关优化。实验表明,该图计算引擎能够达到与传统图计算系统PowerLyra和Gemini相近或比其更优的性能,且具有较好的可扩展性。 展开更多

关键词 分布式系统 图计算 图查询 键值对存储

下载PDF 职称材料

大数据场景中语言虚拟机的应用和挑战

20

作者 吴明瑜 陈海波 臧斌宇 《大数据》 2020年第4期81-91,共11页

语言虚拟机为大数据应用提供了与平台无关的执行环境,简化了应用的开发和部署,因此在大数据场景中得到了较广泛的应用。主要分析了两种主流语言虚拟机——JVM和CLR在大数据场景中的应用,并阐述了使用语言虚拟机面临的4个挑战:初始化及... 语言虚拟机为大数据应用提供了与平台无关的执行环境,简化了应用的开发和部署,因此在大数据场景中得到了较广泛的应用。主要分析了两种主流语言虚拟机——JVM和CLR在大数据场景中的应用,并阐述了使用语言虚拟机面临的4个挑战:初始化及“热身”开销、垃圾回收暂停、异构内存支持、数据格式转换。之后,分别针对4个挑战讨论了现有的解决方案,并分析了这些方案的不足之处及未来可能的优化方向。 展开更多

关键词 语言虚拟机 垃圾回收 异构内存

下载PDF 职称材料