期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到164篇文章
< 1 2 … 9 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
云计算环境下的分布存储关键技术 被引量：279
1
作者 王意洁 孙伟东 +2 位作者 周松 裴晓强 李小勇 《软件学报》 EI CSCD 北大核心 2012年第4期962-986,共25页
云计算作为下一代计算模式,在科学计算和商业计算领域均发挥着重要作用,受到当前学术界和企业界的广泛关注.云计算环境下的分布存储主要研究数据在数据中心上的组织和管理,作为云计算环境的核心基础设施,数据中心通常由百万级以上节点组... 云计算作为下一代计算模式,在科学计算和商业计算领域均发挥着重要作用,受到当前学术界和企业界的广泛关注.云计算环境下的分布存储主要研究数据在数据中心上的组织和管理,作为云计算环境的核心基础设施,数据中心通常由百万级以上节点组成,存储其上的数据规模往往达到PB级甚至EB级,导致数据失效成为一种常态行为,极大地限制了云计算的应用和推广,增加了云计算的成本.因此,提高可扩展性和容错性、降低成本,成为云计算环境下分布存储研究的若干关键技术.针对如何提高存储的可扩展性、容错性以及降低存储的能耗等目标,从数据中心网络的设计、数据的存储组织方式等方面对当前分布存储的关键技术进行了综述.首先,介绍并对比了当前典型的数据中心网络结构的优缺点;其次,介绍并对比了当前常用的两种分布存储容错技术,即基于复制的容错技术和基于纠删码的容错技术;第三,介绍了当前典型的分布存储节能技术,并分析了各项技术的优缺点;最后指出了当前技术面临的主要挑战和下一步研究的方向. 展开更多
关键词 云计算 数据中心 分布存储 容错 数据中心网络 复制 纠删码 节能
下载PDF
论个人信息删除权 被引量：100
2
作者 王利明 《东方法学》 CSSCI 北大核心 2022年第1期38-52,共15页
我国个人信息保护法第47条在民法典第1037条规定的基础上,对个人信息的删除权作出了细化规定。个人信息删除权在性质上属于个人信息的一项权能,且是人格权请求权的具体体现,该项权利的行使必须满足法律规定和约定的条件。删除权虽然可... 我国个人信息保护法第47条在民法典第1037条规定的基础上,对个人信息的删除权作出了细化规定。个人信息删除权在性质上属于个人信息的一项权能,且是人格权请求权的具体体现,该项权利的行使必须满足法律规定和约定的条件。删除权虽然可以适用于搜索引擎,但应当区分不同情形作出必要限制。个人信息保护法所规定的删除权虽然适用范围较为宽泛,但仍然不能等同于域外法中的被遗忘权。在信息主体通过行使删除权保护其个人信息时,既可通过请求和诉讼的方式直接行使该项权利,也可以在个人信息处理者拒绝删除时,依法主张侵权损害赔偿责任。 展开更多
关键词 个人信息 删除权 被遗忘权 个人信息保护法 侵权损害赔偿 民法典
下载PDF
存储系统中的纠删码研究综述 被引量：93
3
作者 罗象宏 舒继武 《计算机研究与发展》 EI CSCD 北大核心 2012年第1期1-11,共11页
随着海量存储系统的发展和在复杂环境中的应用,存储系统的可靠性受到了严重的挑战.纠删码作为存储系统容错的主要方法越来越受到重视.首先介绍了当前典型和常见的纠删码技术的发展现状,从评价纠删码性能的各项重要指标的角度详细地对比... 随着海量存储系统的发展和在复杂环境中的应用,存储系统的可靠性受到了严重的挑战.纠删码作为存储系统容错的主要方法越来越受到重视.首先介绍了当前典型和常见的纠删码技术的发展现状,从评价纠删码性能的各项重要指标的角度详细地对比和分析了现有的纠删码技术,给出了不同纠删码在容错能力与磁盘要求、空间利用率、编码效率、更新效率、重构效率等方面的不足和可能的改进见解,并讨论了磁盘阵列系统、P2P存储系统、分布式存储系统、归档存储系统等不同存储系统对于纠删码各类性能的差别要求,并进一步指明了当前存储系统纠删码研究中尚未解决的一些难题和未来纠删码可能的发展方向.通过分析得出,目前不同纠删码在容错能力、计算效率、存储利用率等方面都存在不同程度的缺陷,如何平衡这些影响纠删码性能的因素,设计出更高容错能力、更高计算效率及更高存储利用率的纠删码,仍是未来很长一段时间内值得不断深入研究的问题. 展开更多
关键词 存储系统 纠删码 容错率 存储利用率 计算效率
下载PDF
民法典编纂视角下信息删除权建构 被引量：38
4
作者 余筱兰 《政治与法律》 CSSCI 北大核心 2018年第4期26-37,共12页
实践中,信息删除权是大数据时代信息保护立法的需要,是互联网时代市场经营主体和其他机构得以日常运营的需要;理论上,信息删除权的创设是人权保障的要求,也是其人格权之属性使然。编纂我国民法典时需要考虑信息删除权。从权利体系上分析... 实践中,信息删除权是大数据时代信息保护立法的需要,是互联网时代市场经营主体和其他机构得以日常运营的需要;理论上,信息删除权的创设是人权保障的要求,也是其人格权之属性使然。编纂我国民法典时需要考虑信息删除权。从权利体系上分析,信息删除权是个人信息权的子权利,是新型的民事权利。从技术安排的角度看,对信息删除权的依据、法律概念、法律属性、权利义务主体、保护标准、民事责任的分析和论证,有助于为我国民法典中信息删除权的设计提供一种思路。 展开更多
关键词 信息删除权 信息权 民法典 个人信息保护
下载PDF
关于纠删码的研究与进展 被引量：15
5
作者 慕建君 路成业 王新梅 《电子与信息学报》 EI CSCD 北大核心 2002年第9期1276-1281,共6页
该文简述了几类纠删码的纠删原理,系统地综合分析了各类纠删码的优缺点及其相互区别与联系,证明了若选取MDS(Maximal Distance Separable)码作为纠删码,只要接收者接收到源数据个数的数据,就能恢复原来的源数据。分析结果表明:复损码以... 该文简述了几类纠删码的纠删原理,系统地综合分析了各类纠删码的优缺点及其相互区别与联系,证明了若选取MDS(Maximal Distance Separable)码作为纠删码,只要接收者接收到源数据个数的数据,就能恢复原来的源数据。分析结果表明:复损码以及旋风(Tornado)码不仅能以线性时间可编码和可成功地译码,而且能以任意接近删除信道容量的速率进行传输,最后指出了目前复损码的研究中需要解决的一些问题,这些分析和结论为进一步研究纠删码提供了理论基础和新的思路。 展开更多
关键词 纠删码 范德蒙码 柯西码 复损码 旋风码 二元删除信道 互联网
下载PDF
基于Kademlia的云存储系统数据冗余方案研究 被引量：17
6
作者 吴吉义 章剑林 +1 位作者 傅建庆 平玲娣 《电信科学》 北大核心 2011年第2期68-73,共6页
云存储是分布式存储技术与虚拟化技术结合的产物,是分布式存储技术的最新发展。云存储意味着存储可以作为一种服务,通过互联网提供给用户。相对于当前各种C/S计算模式的GFS、HDFS、Sector等云存储文件系统,提出了一种基于对等计算模式... 云存储是分布式存储技术与虚拟化技术结合的产物,是分布式存储技术的最新发展。云存储意味着存储可以作为一种服务,通过互联网提供给用户。相对于当前各种C/S计算模式的GFS、HDFS、Sector等云存储文件系统,提出了一种基于对等计算模式的云存储文件系统通用模型,并采用Kademlia算法构建了原型系统MingCloud。主要进行了存储系统冗余方案的选择与设计,实验中采用Cauchy Codes作为编码算法,分别从K桶大小对系统可用性影响、文件分块数量对系统可用性的影响、相同的冗余度下系统可用性比较等方面对系统进行了评估。与完全副本冗余模式相比,纠删码冗余模式能获得较理想的系统可用性,更适合应用于提议的对等云存储系统。 展开更多
关键词 云计算 云存储 MingCloud KADEMLIA 冗余 纠删码
下载PDF
MassCloud云存储系统构架及可靠性机制 被引量：16
7
作者 马玮骏 吴海佳 刘鹏 《河海大学学报（自然科学版）》 CAS CSCD 北大核心 2011年第3期348-354,共7页
为了解决分布式存储系统的存储容量、可靠性以及效率问题,首先提出了高可靠性海量云存储系统MassCloud的分层体系结构,并在此构架的基础上提出了基于纠删码机制的快速编解码算法——双表法,以及基于纠删码、副本冗余和RAID技术相结合的M... 为了解决分布式存储系统的存储容量、可靠性以及效率问题,首先提出了高可靠性海量云存储系统MassCloud的分层体系结构,并在此构架的基础上提出了基于纠删码机制的快速编解码算法——双表法,以及基于纠删码、副本冗余和RAID技术相结合的MassCloud可靠性保证策略,并且进行了测试与分析.结果表明:双表法具有较高的编解码效率,在广域网环境下不会成为性能瓶颈;MassCloud采用4组(8块硬盘)作为每个低功耗存储节点包含的硬盘数,云存储站点层采用3个副本,分布式环境下冗余倍数取2,文件分块数取8,能够保证系统整体可靠性在0.99以上. 展开更多
关键词 MassCloud 云存储 纠删码 副本冗余 存储可靠性
下载PDF
大数据存储中的容错关键技术综述 被引量：15
8
作者 宫婧 王文君 《南京邮电大学学报（自然科学版）》 北大核心 2014年第4期20-25,共6页
不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术。文中介绍了数据容错的两种基本策略:复制和纠删码,并分别总结了将这两种容... 不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术。文中介绍了数据容错的两种基本策略:复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等。 展开更多
关键词 大数据存储 分布式存储 容错 复制 纠删码 再生码
下载PDF
纠删码存储系统单磁盘错误重构优化方法综述 被引量：15
9
作者 傅颖勋 文士林 +1 位作者 马礼 舒继武 《计算机研究与发展》 EI CSCD 北大核心 2018年第1期1-13,共13页
随着云存储的迅猛发展与大数据时代的来临,越来越多的存储系统开始采用纠删码技术,以保障数据的可靠性.在基于纠删码的存储系统中,一旦有磁盘出错,系统需根据其他磁盘里存储的冗余信息,重构所有失效数据.由于当前存储系统中绝大部分磁... 随着云存储的迅猛发展与大数据时代的来临,越来越多的存储系统开始采用纠删码技术,以保障数据的可靠性.在基于纠删码的存储系统中,一旦有磁盘出错,系统需根据其他磁盘里存储的冗余信息,重构所有失效数据.由于当前存储系统中绝大部分磁盘错误都是单磁盘错误,因此,如何快速地在单磁盘错误的情况下重构失效数据,已成为存储系统的研究热点.首先介绍了存储系统中基于纠删码的单磁盘错误重构优化方法的研究背景与研究意义,给出了纠删码的基本概念与定义,并分析了单磁盘错误重构优化的基本原理;接着归纳了现有的一些主流单磁盘错误重构方法的构造算法及其优缺点与适用范围,并分类介绍了一些用于优化单磁盘错误重构效率的新型纠删码技术;最后指出了存储系统中基于纠删码的磁盘错误重构方法的进一步研究方向. 展开更多
关键词 存储系统 纠删码 可靠性 磁盘错误 数据重构方法
下载PDF
一种基于重复数据删除技术的云中云存储系统 被引量：14
10
作者 毛波 叶阁焰 +2 位作者 蓝琰佳 张杨松 吴素贞 《计算机研究与发展》 EI CSCD 北大核心 2015年第6期1278-1287,共10页
随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数... 随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数据可用性和安全性等问题.为了解决这个问题,提出了一种基于重复数据删除技术的云中云存储系统架构,首先消除云存储系统中的冗余数据量,然后基于重复数据删除集中的数据块引用率将数据块以复制和纠删码2种数据布局方式存储在多个云存储服务提供商中.基于复制的数据布局方式易于实现部署,但是存储开销大;基于纠删码的数据布局方式存储开销小,但是需要编码和解码,计算开销大.为了充分挖掘复制和纠删码数据布局的优点并结合重复数据删除技术中数据引用的特点,新方法用复制方式存储高引用数据块,用纠删码方式存储其他数据块,从而使系统整体性能和成本达到较优.通过原型系统的实现和测试验证了相比现有云中云存储策略,新方法在性能和成本上都有大幅度提高. 展开更多
关键词 云中云 重复数据删除 数据布局 复制 纠删码
下载PDF
一种基于Erasure Code的分布式文件系统模型 被引量：6
11
作者 董科军 冯家宏 阎保平 《计算机工程》 EI CAS CSCD 北大核心 2005年第20期93-95,共3页
提出了一种基于Erasure code容错理论的分布式文件系统模型并对其关键技术进行了深入的研究和探讨。介绍了文件系统和分布式文件系统的概念,基于Erasure code理论提出了具有适度容错机制的分布式文件系统架构。详细讨论和分析了该系统... 提出了一种基于Erasure code容错理论的分布式文件系统模型并对其关键技术进行了深入的研究和探讨。介绍了文件系统和分布式文件系统的概念,基于Erasure code理论提出了具有适度容错机制的分布式文件系统架构。详细讨论和分析了该系统实现中涉及的一系列关键技术,最后简短描述了本模型的实现,并给出了其性能评价。 展开更多
关键词 文件系统 分布式系统 erasure code
下载PDF
云文件系统中纠删码技术的研究与实现 被引量：9
12
作者 程振东 栾钟治 +6 位作者 孟由 李亮淑 和荣 杨婷婷 钱德沛 管刚 陈伟 《计算机科学与探索》 CSCD 2013年第4期315-325,共11页
云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储... 云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。 展开更多
关键词 云文件系统 纠删码技术 云计算 冗余
下载PDF
基于网络编码的多播网络故障恢复 被引量：4
13
作者 孙岳 杨远 王新梅 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2007年第1期122-125,共4页
针对多播网络中的链路失败恢复问题,从纠删码的编译码思想出发,提出了一种基于网络编码的可靠多播网络系统的构造方法.该方法采用静态的网络码,当多播网络发生有限条链路失败时,可采用基于接收节点的方式恢复可恢复的链路失败,而不需改... 针对多播网络中的链路失败恢复问题,从纠删码的编译码思想出发,提出了一种基于网络编码的可靠多播网络系统的构造方法.该方法采用静态的网络码,当多播网络发生有限条链路失败时,可采用基于接收节点的方式恢复可恢复的链路失败,而不需改变中间节点的编码.同时在网络信息流分解基础上给出了在较小的符号域上构造网络码字的方法.通过这种编码多播方式,不仅可以利用较小的网络资源构造近似即时的自我修复多播通信网络,提高多播网络链接的鲁棒性,而且能够获得较高的多播传输速率. 展开更多
关键词 链路失败 网络恢复 纠删码 网络编码
下载PDF
海量视频数据分布式存储性能优化方法研究 被引量：8
14
作者 刘艳 曹晓倩 《计算机应用研究》 CSCD 北大核心 2021年第6期1734-1738,共5页
针对文件系统存储效率低、多余副本导致空间浪费以及磁盘能源损耗严重的问题,提出一种新型分布式优化存储策略(distributed optimized storage strategy,DOSS)。首先,引入Bcache混合存储技术在磁盘阵列前增设固态硬盘,作为高速缓冲区对... 针对文件系统存储效率低、多余副本导致空间浪费以及磁盘能源损耗严重的问题,提出一种新型分布式优化存储策略(distributed optimized storage strategy,DOSS)。首先,引入Bcache混合存储技术在磁盘阵列前增设固态硬盘,作为高速缓冲区对多路视频流进行临时数据组织,变多线程并发写任务为单线程顺序写入任务,规避磁盘内部碎片产生,有效提高系统写入效率。其次,提出改进的liberation码对视频数据进行压缩存储,在保证系统可靠性的同时提高磁盘空间利用率。最后,基于ioctl系统调用编写盘片转速控制函数,实现磁盘多级休眠和低延迟唤醒,减低磁盘能耗,提高使用寿命。结果表明单台存储服务器在500路4 Mbps并发视频流下存储效率提高约36%,存储空间节省约40%,系统应对12000路并发视频流时仍存在休眠磁盘约10%。 展开更多
关键词 分布式视频存储 磁盘优化 Bcache 纠删码 ioctl系统调用
下载PDF
多云存储关键技术研究进展 被引量：8
15
作者 鲍禹含 付印金 陈卫卫 《计算机工程》 CAS CSCD 北大核心 2020年第10期18-32,40,共16页
传统单云存储在数据安全与服务弹性方面存在数据隐私泄漏及难以满足在线实时应用需求等缺陷,而多云存储技术能够通过虚拟化集成多个云供应商的在线存储服务实现统一存储、性能调优、数据安全与隐私保护等一系列功能,最大化地挖掘云存储... 传统单云存储在数据安全与服务弹性方面存在数据隐私泄漏及难以满足在线实时应用需求等缺陷,而多云存储技术能够通过虚拟化集成多个云供应商的在线存储服务实现统一存储、性能调优、数据安全与隐私保护等一系列功能,最大化地挖掘云存储资源价值。介绍多云存储技术的概念、系统架构及其优势,阐述多云存储技术在数据可用性、完整性、一致性和安全性方面存在的主要技术挑战,重点分析并总结多云存储各项关键技术的国内外研究现状,包括纠删码容错技术、数据完整性证明机制、并发控制方法以及安全重删技术,在此基础上,指出现有多云存储技术研究中存在的不足,并对未来发展方向进行探讨和展望。 展开更多
关键词 多云存储 纠删码 完整性证明 并发控制 安全重删技术
下载PDF
一种面向纠删码技术的云存储可靠性机制 被引量：6
16
作者 杜芸芸 《计算机应用与软件》 CSCD 北大核心 2014年第2期312-316,320,共6页
在云存储中,数据可以分为三种类型:读频繁、写频繁以及冷数据。对不同类型的数据设置不同的编码机制:对读频繁数据采用多副本技术,频繁写的数据采用单文件编码方案,冷数据采用跨文件编码方案。在云存储系统中提出了一种新的纠删码技术... 在云存储中,数据可以分为三种类型:读频繁、写频繁以及冷数据。对不同类型的数据设置不同的编码机制:对读频繁数据采用多副本技术,频繁写的数据采用单文件编码方案,冷数据采用跨文件编码方案。在云存储系统中提出了一种新的纠删码技术的可靠性机制—魔方码,该编码易于实现,具备高的容错性并且相比多副本机制可以减少资源的消耗。以HDFS上的一个RAID包为基础,实现魔方码的原型,并添加BlaumRoth、RDP以对比测试。虽然各种编码各有优缺点,通过单机和集群测试RAID-5、BlaumRoth、RDP和魔方码的编译码速度,魔方码译码速度比现有最优RAID-6编码RDP码提高了一个数量级。同时,针对大规模分布式系统提出了一种三维纠删码,可以容任意7个错误。总之,测试结果显示魔方码相比三份副本技术,在减少一半资源消耗的同时可以保证高的可用性和可靠性。 展开更多
关键词 云存储系统 可靠性 纠错码 魔方码
下载PDF
基于前向纠错的自适应网络传输机制 被引量：7
17
作者 祝永晋 尹飞 +3 位作者 豆龙龙 吴昆 张志伟 钱柱中 《计算机应用》 CSCD 北大核心 2021年第3期825-832,共8页
针对无线网络中的传输控制协议(TCP)因为丢包触发丢包重传机制而导致传输性能大幅下降的问题,提出了一种基于前向纠错的自适应传输机制(Adaptive FEC)。该机制通过前向纠错来减少数据段的丢失,以避免触发TCP的丢包重传机制,从而达到提升... 针对无线网络中的传输控制协议(TCP)因为丢包触发丢包重传机制而导致传输性能大幅下降的问题,提出了一种基于前向纠错的自适应传输机制(Adaptive FEC)。该机制通过前向纠错来减少数据段的丢失,以避免触发TCP的丢包重传机制,从而达到提升TCP传输性能的目的。首先,根据当前的网络状况以及当前连接的数据传输特征确定当前时间段中的最优冗余段比例;然后,利用TCP数据段中的数据段序号信息实时进行网络状况的估计,从而根据网络波动来动态更新冗余段比例。大量实验结果说明,在20 ms的往返时延以及5%丢包率的传输环境中,相较于静态的前向纠错机制,AdaptiveFEC能够使得TCP连接的传输速率平均提升42%,当运用在文件下载的应用中时,所提机制能够使得下载速度提升至原来的两倍。 展开更多
关键词 纠删码 前向纠错 传输控制协议 机制设计 网络状况估计
下载PDF
基于文件等级的Ceph数据冗余存储策略的研究 被引量：7
18
作者 刘莎 楚传仁 《信息网络安全》 2016年第4期50-54,共5页
文章针对Ceph文件系统的可靠性和安全性进行了重点研究。系统的可靠性和安全性一般通过数据容错技术实现。广泛应用的数据容错技术有完全副本和纠删码。完全副本将数据复制成多份进行分散存储,这种方式会降低存储效率并浪费存储空间;而... 文章针对Ceph文件系统的可靠性和安全性进行了重点研究。系统的可靠性和安全性一般通过数据容错技术实现。广泛应用的数据容错技术有完全副本和纠删码。完全副本将数据复制成多份进行分散存储,这种方式会降低存储效率并浪费存储空间;而纠删码虽然可以有效利用存储空间,但由于需要对数据进行编码存储,访问数据时需要对其进行解码操作,使得数据的访问效率较低。文章结合这两种容错机制,在Ceph文件系统的基础上,提出了基于文件等级进行冗余存储的策略。该策略提供完全副本和纠删码两种存储方式,用户可以根据文件的等级划分来选择适合的存储方案。该方案确保重要数据具有高安全性,并能有效利用存储空间。 展开更多
关键词 对象文件系统 Ceph 数据容错机制 纠删码 完全副本
下载PDF
基于GE码的HDFS优化方案 被引量：7
19
作者 朱媛媛 王晓京 《计算机应用》 CSCD 北大核心 2013年第3期730-733,共4页
针对Hadoop分布式文件系统(HDFS)数据容灾效率和小文件问题,提出了基于纠删码的解决方案。该方案引用了新型纠删码(GE码)的编码和译码模块,对HDFS中的文件进行编码分片,生成很多个Slice并随机均匀的分配保存到集群中,代替原来HDFS系统... 针对Hadoop分布式文件系统(HDFS)数据容灾效率和小文件问题,提出了基于纠删码的解决方案。该方案引用了新型纠删码(GE码)的编码和译码模块,对HDFS中的文件进行编码分片,生成很多个Slice并随机均匀的分配保存到集群中,代替原来HDFS系统的多副本容灾策略。该方法中引入了Slice的新概念,将Slice进行分类合保存在block中并然后通过对Slice建立二级索引来解决小文件问题;该研究方法中抛弃了三备份机制,而是在集群出现节点失效的情况下,通过收集与失效文件相关的任意70%左右的Slice进行原始数据的恢复。通过相关的集群实验结果表明,该方法在容灾效率、小文件问题、存储成本以及安全性上对HDFS作了很大的优化。 展开更多
关键词 HADOOP分布式文件系统 纠删码 数据容灾 两级索引
下载PDF
基于纠删码的区块链系统区块文件存储模型的研究与应用 被引量：6
20
作者 赵国锋 张明聪 +1 位作者 周继华 赵涛 《信息网络安全》 CSCD 北大核心 2019年第2期28-35,共8页
文章提出了一种区块链系统区块文件存储模型,并将其应用于超级账本区块链系统。模型基于纠删码技术改进区块链系统的存储性能,对其存储的区块文件进行编码分片存储,能够以更小的数据冗余度获得不弱于原始系统的数据可靠性,大幅减少了节... 文章提出了一种区块链系统区块文件存储模型,并将其应用于超级账本区块链系统。模型基于纠删码技术改进区块链系统的存储性能,对其存储的区块文件进行编码分片存储,能够以更小的数据冗余度获得不弱于原始系统的数据可靠性,大幅减少了节点对存储资源的需求。同时,模型提供了区块文件解码恢复方案及适配的区块同步方案,增强了模型的可用性。将模型在多个区块链节点中运行测试,结果表明该模型显著减少了节点的存储空间占用,有效改善了区块链系统的存储可扩展性。 展开更多
关键词 区块链 纠删码 存储可扩展
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 9 下一页 到第 页
使用帮助 返回顶部