基于数据复制块的Hadoop任务调度器

导出

摘要简介在MapReduce系统的二级调度中,任务调度位于底层,是作业调度的基础。若系统中任务调度运行效率低下,直接影响整个Hadoop的执行速度。在Hadoop现有的任务调度中,预测执行算法和任务调度算法考虑了数据和机架间的本地性,在对原有Hadoop任务调度的优化,LATE(Longest Approximate Timeto End)算法对慢节点启动备份任务执行,但由于原有系统设计主要针对的是同构系统,

作者杨漾

机构地区中国南方电网广东电网公司信息中心

出处《信息与电脑（理论版）》 2013年第11期111-112,共2页 China Computer & Communication

关键词调度器数据复制任务调度 HADOOP 执行时间作业调度性能测试执行速度异构系统调度运行

分类号 TP311.13 [自动化与计算机技术—计算机软件与理论]

引文网络
相关文献

1贵轩,吴跃,缪敬.面向通信行业的嵌入式软件开发平台研究[J].成都信息工程学院学报,2004,19(3):367-371. 被引量：2
2兰舟,孙世新.基于动态关键任务的多处理器任务分配算法[J].计算机学报,2007,30(3):454-462. 被引量：14
3安云哲,郭学军,丛丽晖,夏秀峰.数据仓库系统体系结构及相应构建策略研究[J].沈阳航空工业学院学报,2007,24(1):44-48. 被引量：2
4曹旭,张云华.Hadoop平台下计算模型中调度策略的研究[J].计算机应用与软件,2013,30(9):208-210. 被引量：5
5陈若飞,姜文红.Hadoop作业调度本地性的研究与优化[J].软件,2015,36(2):64-68. 被引量：5
6李华光,邓文东.二级调度的监控和数据采集系统方案设计[J].自动化博览,2003,20(3):59-61.
7李华光.二级调度的监控和数据采集系统方案设计[J].自动化信息,2003(3):25-27.
8刘飞,罗克露,黄烨明,缪敬,罗钥.通信领域嵌入式系统调度管理的设计与实现[J].计算机应用研究,2004,21(7):186-188. 被引量：3
9张建国.SAP同构系统数据库迁移方案探讨[J].计算机光盘软件与应用,2012,15(15):150-151.
10孙瑞琦,杨杰,高瞻,贺志强.一种提高虚拟化Hadoop系统数据本地性的资源调度方法[J].计算机研究与发展,2014,51(S2):189-198. 被引量：5

信息与电脑（理论版）

2013年第11期

浏览历史

内容加载中请稍等...

基于数据复制块的Hadoop任务调度器

相关作者

相关机构

相关主题

浏览历史