题名 Storm环境下基于权重的任务调度算法
被引量：15
1
作者
鲁亮 于炯 卞琛 英昌甜 师康利 蒲勇霖
机构
新疆大学信息科学与工程学院 新疆大学软件学院 新疆大学电气工程学科博士后科研流动站
出处
《计算机应用》
CSCD
北大核心
2018年第3期699-706,共8页
基金
国家自然科学基金资助项目(61462079 61562086) +2 种基金 新疆维吾尔自治区自然科学基金资助项目(2017D01A20) 新疆维吾尔自治区高校科研计划项目(XJEDU2016S106) 新疆维吾尔自治区研究生科研创新项目(XJGRI2016028)~~
文摘
大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务调度算法(TSAW-Storm)。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小,分别确定拓扑的点权和边权;并利用最大化边权增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡的同时,尽可能将边权较大的节点间数据流转化为节点内数据流,从而降低网络传输开销。实验结果表明,在包含有8个工作节点的WordCount基准测试中,TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%,且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8%;此外,在与在线调度算法的对比实验中,TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%,且算法的执行开销明显降低,有效提高了Storm系统的运行效率。
关键词
大数据 流式计算 STORM 权重 任务调度 负 栽 均衡 通信开销
Keywords
big data stream computing Storm weight task scheduling load balancing communication cost
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 基于对象存储系统的动态负载均衡算法
被引量：5
2
作者
覃灵军 冯丹 曾令仿 刘群
机构
华中科技大学信息存储系统教育部重点实验室
出处
《计算机科学》
CSCD
北大核心
2006年第5期88-91,共4页
基金
973国家重点基础研究发展规划项目"下一代互联网信息存储的组织模式和核心技术研究"2004CB318201 国家自然科学基金(60273074) 优秀博士学位论文专项基金
文摘
负载均衡是大规模基于对象存储系统必须要考虑的重要问题。本文为此以系统总响应时间为代价函数,以对象被访问频率为依据,建立了一种将对象复制与对象迁移统一在内的动态负载均衡模型,并充分利用存储设备的智能实现系统的动态负载均衡。仿真结果表明,在存在大量热点访问和对象分布不均匀的情况下,启用对象复制和对象迁移的负载均衡算法能最大程度地减少系统的平均总响应时间。
关键词
基于对象存储 负 栽 均衡 对象复制 对象迁移
Keywords
Object-based storage, Load balancing, Object replication, Object migration
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
TP311.13
[自动化与计算机技术—计算机科学与技术]
题名 多网卡绑定构建负载均衡服务器
被引量：3
3
作者
张延红 王康平 程国斌
机构
平顶山工学院 平顶山学院
出处
《计算机与网络》
2006年第9期50-51,共2页
文摘
文章论述了利用 NIC Express Enterprise 网卡绑定功能进行双网卡绑定构建负载均衡服务器的具体方法和步骤。实验结果表明,双网卡绑定后服务器的网络传输提速,抗并发访问的能力提高,可以保证服务器访问的稳定和畅快,而且可以有效均衡负载和提高客错能力。
关键词
多网卡绑定 网络提速 负 栽 均衡
分类号
TP393.05
[自动化与计算机技术—计算机应用技术]
题名 离线技术在网络考试系统中的应用
4
作者
金玲
机构
西安石油大学计算机学院
出处
《福建电脑》
2008年第9期103-104,共2页
文摘
本文针对WEB网络考试系统中出现的瓶颈问题,分析了原因,并提出了一种新的解决策略。
关键词
离线技术 负 栽 均衡 ASP.NET
分类号
TP393
[自动化与计算机技术—计算机应用技术]
G434
[自动化与计算机技术—计算机科学与技术]
题名 一种IP虚拟服务器的实现和性能测试
5
作者
王喆 高亮 孙卫
机构
空军工程大学工程学院
出处
《现代电子技术》
2007年第2期180-181,188,共3页
文摘
通过对IP负载均衡技术和连接调度算法的分析,讨论了其在Linux内核中的实现问题,并提出了一种系统实现方案———IP虚拟服务器(IP Virtual Server,IPVS)。基于这种方案对Hash函数的效率进行评价。最后使用Netpipe和Testlvs等软件对IPVS系统性能进行测试。从测试结果可以看出,该方案能够有效地提高集群系统的处理能力。
关键词
负 栽 均衡 连接调度 IPVS HASH表
Keywords
load balance link scheduling IPVS Hash
分类号
TP334
[自动化与计算机技术—计算机系统结构]
