-
题名云计算数据中心HDFS差异性存储节能优化算法
被引量：25
- 1
-
-
作者
杨挺
王萌
张亚健
赵英杰
盆海波
-
机构
天津大学电气自动化与信息工程学院
-
出处
《计算机学报》
EI
CSCD
北大核心
2019年第4期721-735,共15页
-
基金
国家自然科学基金(61571324)
天津市自然科学基金重点项目(16JCZDJC30900)
国家国际科技合作专项(2013DFA11040)资助~~
-
文摘
摘要在云计算的基础设施———数据中心内,Hadoop分布式文件存储系统(Hadoop Distributed File System,HDFS)以高容错性、高可靠性、高可扩展性的优势被广泛使用.但HDFS中遵循机架感知的存储策略没有考虑数据间的差异性和使用频度,所有数据以相同副本数复制后分散存储在不同的DataNode节点中,这势必会开启过多的DataNode而导致数据中心能耗过高.针对这一问题,突破现有HDFS对数据块的恒定副本个数存储的限制,提出保证数据块可用性的可变副本存储策略.建立了分布式文件存储超图模型,数学表述了数据块、文件和DataNode间的多对多关系.基于模型提出一种■横贯超边计算方法实现数据中心HDFS可变■重极小覆盖集选择,从而确定保证数据可用性的最小数量DataNode开启集合,实现数据中心存储单元节能.在原问题的可行域中会存在多个最优解的情况,即在满足数据块■覆盖的条件下,存在开启DataNode数目最少且相等的多种方案,因此该问题是一个多态函数优化问题,该文提出采用贪心萤火虫算法加以求解.算法性能测试实验通过Hadoop环境下的WordCount、TeraSort和Grep三种典型计算实例运算实验,进行了数据可用性实验,HDFS集群存储负载均衡实验,集群能耗分析以及数据中心网络性能试验.实验结果表明,可变■数据副本最小覆盖集算法在保证数据块和文件可用的条件下,可以实现更少的DataNode开启,有效节省HDFS集群能耗,并且通过开启DataNode的合理配置,缓解了网络传输拥塞.
-
关键词
云计算数据中心
分布式文件存储系统
节省能量
超图
κ横贯
-
Keywords
cloud data center
distributed file storage system
energy-saving
hypergraph
κ-transverse
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
