-
题名基于直接后继节点完成时间的异构调度算法
被引量：1
- 1
-
-
作者
王冠
王宇新
陈鑫
王飞
郭禾
-
机构
大连理工大学软件学院
辽宁警察学院公安信息系
大连理工大学计算机科学与技术学院
-
出处
《计算机应用》
CSCD
北大核心
2017年第1期12-17,133,共7页
-
基金
国家自然科学基金资助项目(11372067
61300016)~~
-
文摘
分布式环境下的异构计算系统(HCS)是大数据时代进行数据密集型计算不可或缺的,一个有效的任务调度算法可以提高整个异构计算系统的效率。在对异构环境下的任务调度进行有向无环图(DAG)建模的基础上,提出基于直接后继节点完成时间的异构调度算法(HSFT)。在计算开销和通信开销差异度较大的异构环境中,考虑两者之间的平衡,采用更为合理的以计算均值与标准方差的乘积和通信权值与任务节点出度的比值作为优先权值计算方法,并在考虑最快完成时间(EFT)的基础上,将直接后继节点完成时间(SFT)用于处理器分配策略。实验结果表明,HSFT在不增加算法时间复杂度的情况下,比HEFT、SDBATS、PEFT等算法有更短的调度长度(makespan)、更优的调度长度比和效率。
-
关键词
有向无环图调度
异构计算
任务优先级
直接后继节点
静态任务调度
-
Keywords
Directed Acyclic Graph （DAG） scheduling
heterogeneous computing
task priority
immediate successor
static task scheduling
-
分类号
TP393.01
[自动化与计算机技术—计算机应用技术]
-
-
题名轻量级大数据运算系统Helius
被引量：1
- 2
-
-
作者
丁梦苏
陈世敏
-
机构
计算机体系结构国家重点实验室(中国科学院计算技术研究所)
-
出处
《计算机应用》
CSCD
北大核心
2017年第2期305-310,共6页
-
基金
中国科学院"百人计划"项目
国家自然科学基金面上项目(61572468)
国家自然科学基金创新群体项目(61521092)~~
-
文摘
针对Spark数据集不可变,以及Java虚拟机(JVM)依赖环境引起的代码执行、内存管理、数据序列化/反序列化等开销过多的不足,采用C/C++语言,设计并实现了一种轻量级的大数据运算系统——Helius。Helius支持Spark的基本操作,同时允许数据集整体修改;同时,Helius利用C/C++优化内存管理和网络传输,并采用stateless worker机制简化分布式计算平台的容错恢复过程。实验结果显示:5次迭代中,Helius运行PageRank算法的时间仅为Spark的25.12%~53.14%,运行TPCH Q6的时间仅为Spark的57.37%;在PageRank迭代1次的基础上,运行在Helius系统下时,master节点IP接收和发送数据量约为运行于Spark系统的40%和15%,而且200 s的运行过程中,Helius占用的总内存约为Spark的25%。实验结果与分析表明,与Spark相比,Helius具有节约内存、不需要序列化和反序列化、减少网络交互以及容错简单等优点。
-
关键词
内存计算
大数据运算
分布式计算
有向无环图调度
容错恢复
-
Keywords
in-memory computation
big data processing
distributed computation
Directed Acyclic Graph （DAG） scheduling
fault tolerance and recovery
-
分类号
TP311.133.1
[自动化与计算机技术—计算机软件与理论]
-
-
题名兼顾费用与公平的带通信开销的多有向无环图调度
被引量：3
- 3
-
-
作者
王宇新
曹仕杰
郭禾
陈征
陈鑫
-
机构
大连理工大学计算机科学与技术学院
大连理工大学软件学院
-
出处
《计算机应用》
CSCD
北大核心
2015年第11期3017-3020,3025,共5页
-
基金
国家自然科学基金资助项目(11372067
61300016)
-
文摘
针对云环境下多有向无环图(DAG)工作流的调度算法应考虑执行时间、费用开销、通信开销、公平性等多个指标的问题,在模型带通信开销的DAG(CA-DAG)的基础上结合公平性算法提出一种优化完成时间的后向求异(BD)原则与兼顾费用和公平的多DAG调度策略CAFS。CAFS调度策略分为两个阶段:预调度阶段利用带通信开销的工作流费用优化(CACO)算法在考虑通信开销的同时求解所有任务的最优服务并优化费用,采用fairness算法得到较公平的调度顺序;调度阶段采用BD原则,根据在预调度阶段得出的调度顺序进一步优化整体的完成时间并执行调度。实验结果表明,CAFS调度算法具有较好的公平性,在不提高费用的基础上时间减少19.82%。
-
关键词
多有向无环图调度
通信开销
费用
公平
工作流
-
Keywords
multiple directed acyclic graph scheduling
communication overhead
cost
fairness
workflow
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
