期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
Locally Minimum Storage Regenerating Codes in Distributed Cloud Storage Systems 被引量:2
1
作者 Jing Wang Wei Luo +2 位作者 Wei Liang Xiangyang Liu Xiaodai Dong 《China Communications》 SCIE CSCD 2017年第11期82-91,共10页
In distributed cloud storage systems, inevitably there exist multiple node failures at the same time. The existing methods of regenerating codes, including minimum storage regenerating(MSR) codes and minimum bandwidth... In distributed cloud storage systems, inevitably there exist multiple node failures at the same time. The existing methods of regenerating codes, including minimum storage regenerating(MSR) codes and minimum bandwidth regenerating(MBR) codes, are mainly to repair one single or several failed nodes, unable to meet the repair need of distributed cloud storage systems. In this paper, we present locally minimum storage regenerating(LMSR) codes to recover multiple failed nodes at the same time. Specifically, the nodes in distributed cloud storage systems are divided into multiple local groups, and in each local group(4, 2) or(5, 3) MSR codes are constructed. Moreover, the grouping method of storage nodes and the repairing process of failed nodes in local groups are studied. Theoretical analysis shows that LMSR codes can achieve the same storage overhead as MSR codes. Furthermore, we verify by means of simulation that, compared with MSR codes, LMSR codes can reduce the repair bandwidth and disk I/O overhead effectively. 展开更多
关键词 distributed cloud storage systems minimum storage regenerating(MSR) codes locally repairable codes(lrc) repair bandwidth overhead disk I/O overhead
下载PDF
云存储系统中的预测式局部修复码 被引量:7
2
作者 张晓阳 许佳豪 胡燏翀 《计算机研究与发展》 EI CSCD 北大核心 2019年第9期1988-2000,共13页
为了保证客户访问数据的高可用性,一些云存储系统开始采用一类新型编码,即局部修复编码(locally repairable codes, LRC).例如Windows Azure和Facebook的HDFS RAID.与Reed-Solomon码相比,LRC修复效率高,因为它将每个条带的数据块分成多... 为了保证客户访问数据的高可用性,一些云存储系统开始采用一类新型编码,即局部修复编码(locally repairable codes, LRC).例如Windows Azure和Facebook的HDFS RAID.与Reed-Solomon码相比,LRC修复效率高,因为它将每个条带的数据块分成多个组,每个组内额外生成一个校验块,因而组内就可以对单个故障块进行修复.LRC假设每组大小相同,这意味着每个故障块的修复所产生的组内数据传输量是相同的.但是,对于那些更易出现故障的磁盘,它们所造成丢失的数据块理应被系统更有效地修复.借助基于决策树的磁盘故障预测方法来动态调整LRC中组的大小,从而构造一类预测式LRC(proactive LRC, pLRC),使得即将发生故障的磁盘存储的数据块所在的组的长度变小,以便这些数据块可以在更小的组内进行更快地修复,同时保持和传统LRC相同的存储开销和编码结构.不仅通过MTTDL建模分析pLRC的可靠性,还在Facebook的Hadoop HDFS平台中实现了pLRC并进行了性能测试.结果表明,比起LRC,pLRC的可靠性最多可提升113%,同时降级读和磁盘修复性能最多可提高46.8%和47.5%. 展开更多
关键词 云存储 局部修复码 磁盘故障 机器学习 决策树
下载PDF
LRCRaft:支持节点数据快速恢复的共识协议
3
作者 袁佳正 胡晓鹏 《计算机系统应用》 2024年第7期188-200,共13页
在支持纠删码的分布式存储系统中,最常用的编码是RS(Reed-Solomon)码.对于一个RS(k,m)编码条带,常见的配置是一个节点仅存储条带中的一个分片,这导致在节点出现故障的情况下,对其存储分片的恢复需要跨多个节点读取分片并重新编码生成恢... 在支持纠删码的分布式存储系统中,最常用的编码是RS(Reed-Solomon)码.对于一个RS(k,m)编码条带,常见的配置是一个节点仅存储条带中的一个分片,这导致在节点出现故障的情况下,对其存储分片的恢复需要跨多个节点读取分片并重新编码生成恢复分片,容易造成系统网络拥塞.在需要恢复大量数据的场合,系统在恢复期间会处于较长时间的脆弱期,容错能力和吞吐量下降、读写时延升高时有发生.LRCRaft是一个基于LRC(local reconstruction code)的改进Raft共识协议,通过在Raft中引入LRC码、动态日志增补、状态机删减和分片版本一致性等机制,降低了Raft的读写时延,缩短了节点故障恢复时间.实验结果表明,相较于Raft,LRCRaft在不同恢复模式中恢复一个单节点故障数据时,恢复用时有着49.25%–74.97%的减少. 展开更多
关键词 分布式存储 Raft共识协议 纠删码 局部重构码(lrc) 节点数据恢复
下载PDF
短码长四元最优局部修复码的构造 被引量:1
4
作者 李瑞虎 展秀珍 +2 位作者 付强 张茂 郑尤良 《电子与信息学报》 EI CSCD 北大核心 2021年第12期3749-3757,共9页
在分布式存储系统中,当节点发生故障时局部修复码(LRC)可以通过访问少量其他节点来恢复数据,然而LRC的局部度不尽相同,该文构造了短码长且局部度较小的四元LRC。当码长不超过20,最小距离大于2时,若四元距离最优线性码的生成阵维数不超... 在分布式存储系统中,当节点发生故障时局部修复码(LRC)可以通过访问少量其他节点来恢复数据,然而LRC的局部度不尽相同,该文构造了短码长且局部度较小的四元LRC。当码长不超过20,最小距离大于2时,若四元距离最优线性码的生成阵维数不超过校验阵维数,可利用其生成阵给出LRC,否则利用其校验阵给出LRC。对已构造的LRC的生成阵或校验阵,利用删除、并置等方法得到新矩阵,从而构造出190个码长n≤20,最小距离d≥2的LRC。除12个LRC外,其他LRC是局部度最优的。 展开更多
关键词 最优码 局部修复码 生成阵 校验阵
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部