基于纠删码和动态副本策略的HDFS改进系统 被引量：10

1

作者 李晓恺 代翔 +1 位作者 李文杰 崔喆 《计算机应用》 CSCD 北大核心 2012年第8期2150-2153,2158,共5页

为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机... 为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。 展开更多

关键词 HADOOP分布式文件系统 分布式存储 数据容灾 负载均衡 动态副本

下载PDF 职称材料

大数据环境下hadoop分布式文件系统分散式动态副本存储优化策略研究 被引量：7

2

作者 杨莲 郭良君 +1 位作者 马磊 王圣芳 《中国医院统计》 2019年第1期75-78,共4页

在不影响hadoop分布式文件系统分散式存储结构的前提下,结合动态副本存储和伽罗华有限域理论对范德蒙码的计算方法和计算模式进行整体优化,降低了编译码的时间代价和计算的内存压力,节约了hadoop分布式文件系统约35%的存储开销,提高了ha... 在不影响hadoop分布式文件系统分散式存储结构的前提下,结合动态副本存储和伽罗华有限域理论对范德蒙码的计算方法和计算模式进行整体优化,降低了编译码的时间代价和计算的内存压力,节约了hadoop分布式文件系统约35%的存储开销,提高了hadoop分布式文件系统节点负载均衡能力和译码恢复效率。这种算法更适合于医疗专业文书的处理,解决临床科研需求和数据供给2个方面的问题。既能节省了存储容量,可以容纳与日俱增且越发复杂化的医疗数据,又能降低硬件服务器成本,为医院节省资金开销,更能快速查询获取数据池中的有效数据,让这些躺着的数据变成活的,充分发挥他们的临床使用价值和科研价值。这一套完整的、系统的优化方案,为未来hadoop分布式文件系统的发展提供了一条有效途径。 展开更多

关键词 HADOOP分布式文件系统 云存储 动态副本 策略 大数据

下载PDF 职称材料

一种云计算数据副本动态管理策略 被引量：6

3

作者 李功丽 赵晓焱 刘慧 《河南师范大学学报（自然科学版）》 CAS 北大核心 2015年第4期138-143,共6页

为了提高云计算中数据的可用性和缩短响应时间,提出了数据副本的方法.传统的静态副本方法无法适应云计算的动态性特征,针对这个问题提出了动态副本策略.首先,基于用户需求确定副本数目;然后根据局部性原理和资源可用度,确定数据副本的... 为了提高云计算中数据的可用性和缩短响应时间,提出了数据副本的方法.传统的静态副本方法无法适应云计算的动态性特征,针对这个问题提出了动态副本策略.首先,基于用户需求确定副本数目;然后根据局部性原理和资源可用度,确定数据副本的存储位置.最后的实验结果证明了该策略降低了平均响应时间. 展开更多

关键词 动态副本 云计算 zipf定律 局部性原理 可用度临界值

下载PDF 职称材料

基于柯西码的HDFS存储优化策略 被引量：4

4

作者 谢果君 沈记全 杨焕焕 《计算机工程与科学》 CSCD 北大核心 2019年第3期440-445,共6页

随着大数据时代的到来,数据存储正接受着严峻的考验。为了改进传统Hadoop分布式文件系统HDFS存在的冗余度高、负载均衡能力不足等问题,提出了一种基于柯西码的动态分散式存储优化策略CDDS。对于系统中的数据块,在保证数据可用性的基础上... 随着大数据时代的到来,数据存储正接受着严峻的考验。为了改进传统Hadoop分布式文件系统HDFS存在的冗余度高、负载均衡能力不足等问题,提出了一种基于柯西码的动态分散式存储优化策略CDDS。对于系统中的数据块,在保证数据可用性的基础上,依据其热度的不同生成相应的存储方案。对于系统中的冷数据与热数据,分别采用基于柯西码的纠删码技术进行单副本与多副本存储,既保证了数据的可靠性又保证了系统的I/O能力。经测试,运用该策略存储数据所需要的存储空间减小为原来的75%,系统的可靠性与负载均衡能力也得到了增强。 展开更多

关键词 数据存储 柯西码 动态副本 负载均衡

下载PDF 职称材料

广域存储虚拟化的一种基于最小代价副本管理模型 被引量：2

5

作者 庞丽萍 朱楚波 +1 位作者 吴松 熊慕舟 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2005年第z1期150-153,共4页

提出了一种基于最小代价的广域网存储虚拟化的动态副本管理模型.包括副本创建、副本选择和副本一致性更新三种策略.其中副本创建策略用排队论来分析副本创建代价和副本访问代价,动态创建副本;副本选择策略通过计算副本的最小访问代价,... 提出了一种基于最小代价的广域网存储虚拟化的动态副本管理模型.包括副本创建、副本选择和副本一致性更新三种策略.其中副本创建策略用排队论来分析副本创建代价和副本访问代价,动态创建副本;副本选择策略通过计算副本的最小访问代价,获得满足用户需求的副本;副本一致性更新策略采用软状态服务和对主副本、副本更新代价小的存储代理优先访问的原则进行副本的松散一致性更新.最后将本模型的实现与无副本存储系统和基于请求轮询的存储系统进行性能比较测试,测试结果表明基于最小访问代价的副本管理模型将客户端请求按照存储节点服务能力进行调度,实现了更有效的负载平衡调度. 展开更多

关键词 存储虚拟化 动态副本 负载平衡 一致性更新

下载PDF 职称材料

智慧城市云存储系统中的副本量控制策略研究 被引量：4

6

作者 刘小俊 胡志华 潘少明 《武汉大学学报（信息科学版）》 EI CSCD 北大核心 2016年第9期1205-1210,共6页

传统分布式文件系统中的副本量控制策略,主要是从内部资源的角度考虑副本的创建,未考虑外部需求的变化。这种策略不适合部署在以服务为基础、内部存储资源丰富的智慧城市云存储中心上。提出了一种结合数据安全(最小副本量)和服务需求(... 传统分布式文件系统中的副本量控制策略,主要是从内部资源的角度考虑副本的创建,未考虑外部需求的变化。这种策略不适合部署在以服务为基础、内部存储资源丰富的智慧城市云存储中心上。提出了一种结合数据安全(最小副本量)和服务需求(最优副本量)的副本量控制模型。模型中采用基于双时间粒度预测算法预测文件流行度,依据文件的流行度和系统资源动态调整云中副本数量。仿真实验结果表明,本文采用的动态副本机制在应对突发的大规模并发访问方面有显著优势;同时,相比常规的基于访问频率的动态副本,本文策略的存储资源占用量更少。 展开更多

关键词 动态副本 云存储 预测 智慧城市

原文传递

基于Hadoop的访问热点副本迁移技术 被引量：2

7

作者 冯钧 王纯 +1 位作者 朱康康 魏童童 《计算机与现代化》 2016年第1期108-113,共6页

提出一种云环境下的访问热点负载均衡模型:基于节点的吞吐量与响应时间等主要参考指标,构建节点负载判定模块;文件在HDFS存储的过程中,将文件对应的数据块编号与存储路径相结合,设计存放在数据节点中的数据块到文件目录映射表;提出一种... 提出一种云环境下的访问热点负载均衡模型:基于节点的吞吐量与响应时间等主要参考指标,构建节点负载判定模块;文件在HDFS存储的过程中,将文件对应的数据块编号与存储路径相结合,设计存放在数据节点中的数据块到文件目录映射表;提出一种基于节点负载以及节点的存储空间的迁移源节点和目标节点选择方法;基于机架感知的机制,制定一种动态副本迁移方案。最后利用执行器下发指令给相应的数据节点,执行具体的迁移任务以及完善迁移后副本因子等参数信息的调整。通过迅速扩散副本的方式,来增加热点文件的副本数量,使得系统能够对外提供更大的吞吐量,缩短系统反应时间。 展开更多

关键词 云存储 大数据 数据迁移 动态副本 访问热点

下载PDF 职称材料

云存储环境下基于QoS的动态副本策略研究

8

作者 林清滢 陆锡聪 冯健文 《现代计算机（中旬刊）》 2015年第1期6-9,共4页

为了解决静态副本策略中易造成负载不均衡、用户服务质量需求得不到满足等问题,提出一种动态副本生成算法和动态副本调整算法;在Cloud Sim平台上仿真实验,结果表明,与默认副本策略相比,该策略能够根据用户的访问需求动态为数据文件增删... 为了解决静态副本策略中易造成负载不均衡、用户服务质量需求得不到满足等问题,提出一种动态副本生成算法和动态副本调整算法;在Cloud Sim平台上仿真实验,结果表明,与默认副本策略相比,该策略能够根据用户的访问需求动态为数据文件增删副本,大大地减少用户访问时间,满足用户的服务质量需求。 展开更多

关键词 云存储 副本策略 动态副本 服务质量

下载PDF 职称材料

基于纠删码的动态副本冗余存储研究 被引量：1

9

作者 郑志蕴 孟慧平 +1 位作者 李钝 王振飞 《计算机工程与设计》 CSCD 北大核心 2014年第9期3085-3090,共6页

为保证数据的完整性和可靠性,云存储中主要采用多副本和纠删码两种存储策略对数据进行冗余保存。针对单一冗余存储策略的不足,考虑存储开销和访问质量等方面因素,根据用户访问数据的规律,提出一种基于纠删码的动态副本冗余存储方案。采... 为保证数据的完整性和可靠性,云存储中主要采用多副本和纠删码两种存储策略对数据进行冗余保存。针对单一冗余存储策略的不足,考虑存储开销和访问质量等方面因素,根据用户访问数据的规律,提出一种基于纠删码的动态副本冗余存储方案。采用RC纠删码来存储云中海量数据,使用曲线拟合预测访问热度,适时调整副本的数量。实验结果表明,该方案空间利用率高,能有效减小用户访问的平均延迟,提高用户访问的成功率。 展开更多

关键词 云存储 纠删码 预测 动态副本 冗余存储

下载PDF 职称材料

基于范德蒙码的HDFS优化存储策略研究 被引量：17

10

作者 宋宝燕 王俊陆 王妍 《计算机学报》 EI CSCD 北大核心 2015年第9期1825-1837,共13页

随着大数据时代的到来,新型文件系统HDFS(Hadoop分布式文件系统)的应用越来越广泛.但其本身也存在着整体存储成本过高、可扩展性低、节点负载均衡能力不足等问题.因此,该文提出了一种基于范德蒙码的HDFS分散式动态副本存储优化策略,针对... 随着大数据时代的到来,新型文件系统HDFS(Hadoop分布式文件系统)的应用越来越广泛.但其本身也存在着整体存储成本过高、可扩展性低、节点负载均衡能力不足等问题.因此,该文提出了一种基于范德蒙码的HDFS分散式动态副本存储优化策略,针对HDFS大多部署在大量的廉价硬件集群上的实际情况,在范德蒙码优化策略的基础上,采用分散式动态副本控制的思想对HDFS文件操作的计算过程、计算模式以及译码触发策略进行系统的改进,并通过校验码动态设置的方式将容错度控制在一个理想的范围之内,此外,结合伽罗华有限域理论对范德蒙码的编译码操作及计算方法进行全面优化,在不影响HDFS存储结构的前提下,降低了范德蒙码编译码的时间代价和计算的内存压力,节约了HDFS约30%的存储开销,数据可靠性提高了约200%,均衡HDFS系统节点负载能力,译码恢复效率平均提升约40%,形成了一套完整的、系统的优化方案,为未来HDFS的发展提供了一条有效途径. 展开更多

关键词 大数据 HDFS 范德蒙码 分散式动态副本 优化存储

下载PDF 职称材料

一种基于可用性的动态云数据副本管理机制 被引量：5

11

作者 陶永才 巴阳 +1 位作者 石磊 卫琳 《小型微型计算机系统》 CSCD 北大核心 2018年第3期490-495,共6页

副本是提高云存储数据可用性的关键技术之一.为提供低成本高效益的可用性,并提高云存储的性能和负载均衡,本文提出一种动态副本管理机制DRM(Dynamic Replica Management scheme).DRM研究确定数据可用性和副本数之间的关系模型,并利用此... 副本是提高云存储数据可用性的关键技术之一.为提供低成本高效益的可用性,并提高云存储的性能和负载均衡,本文提出一种动态副本管理机制DRM(Dynamic Replica Management scheme).DRM研究确定数据可用性和副本数之间的关系模型,并利用此模型来动态计算和维护给定可用性要求的最小副本数,并基于节点性能和用户访问特性确定副本放置位置.根据节点规模变化,DRM动态调整副本数量以确保数据可用性需求.DRM在节省资源成本的前提下,提高了云存储的性能和负载平衡.本文在HDFS(Hadoop Distributed File System)上实现了DRM,实验结果表明DRM在成本、负载平衡和性能都优于现有HDFS副本管理机制. 展开更多

关键词 动态副本管理 I-IDFS 数据副本 可用性

下载PDF 职称材料

无线GIS空间数据动态副本管理研究 被引量：4

12

作者 林承达 孟令奎 彭溢 《武汉大学学报（信息科学版）》 EI CSCD 北大核心 2007年第3期263-265,270,共4页

针对GIS海量空间数据更新要求,研究了无线网络环境下空间数据传输和存储的副本动态复制与管理技术。通过分析空间数据移动复制服务策略,设计了基于无线网络的动态副本管理系统(DRMS)来实现空间数据的移动动态复制,并研究副本管理模型和... 针对GIS海量空间数据更新要求,研究了无线网络环境下空间数据传输和存储的副本动态复制与管理技术。通过分析空间数据移动复制服务策略,设计了基于无线网络的动态副本管理系统(DRMS)来实现空间数据的移动动态复制,并研究副本管理模型和副本更新算法,保证了无线网络传输的稳定性。 展开更多

关键词 无线GIS 移动复制技术 动态副本管理 空间数据传输

下载PDF 职称材料

一种基于文件支持度的动态副本管理机制 被引量：3

13

作者 肖中正 陈宁江 +1 位作者 贾炅昊 张文博 《计算机研究与发展》 EI CSCD 北大核心 2016年第2期431-442,共12页

在大规模分布式存储系统的容错技术中,数据副本管理是一种重要机制.针对网络环境中的动态副本管理需求,建立一种文件支持度指标及其动态计算模型.该模型通过周期性数据采集,利用文件支持度的自相关性,结合文件上一采集周期访问量、访问... 在大规模分布式存储系统的容错技术中,数据副本管理是一种重要机制.针对网络环境中的动态副本管理需求,建立一种文件支持度指标及其动态计算模型.该模型通过周期性数据采集,利用文件支持度的自相关性,结合文件上一采集周期访问量、访问量占比、被访问数据量以及文件级别等参数,构建了能够较准确描述文件的动态副本需求状态模型.通过动态适应性的参数调整以适应变化的负载状态,使副本管理决策尽可能反映系统实际状态.在此基础上设计了数据结点负载均衡、副本调整、副本清理等相关算法,实现了动态副本管理的目标.通过实验验证了所设计的动态副本管理机制的有效性. 展开更多

关键词 分布式存储 动态副本管理 负载均衡 文件支持度 容错

下载PDF 职称材料

HDFS动态副本因子的优化研究 被引量：2

14

作者 宗平 梁胜昔 《计算机技术与发展》 2018年第7期68-72,共5页

针对云环境中分布式文件系统(HDFS)静态副本机制存在的不足,提出一种改进的动态副本因子调整策略。该策略包含待调整副本因子文件筛选和文件副本因子动态调整两个部分,首先结合数据访问的时间局部性原理,根据文件访问热度定量描述获得... 针对云环境中分布式文件系统(HDFS)静态副本机制存在的不足,提出一种改进的动态副本因子调整策略。该策略包含待调整副本因子文件筛选和文件副本因子动态调整两个部分,首先结合数据访问的时间局部性原理,根据文件访问热度定量描述获得待调整副本因子文件集合,通过设定两个不同长度的决策时间区间,针对不同访问热度以及不同决策时间区间内的文件分别采取不同的副本因子调整措施,做到性能和存储代价的有效折中。通过搭建分布式的实验环境验证动态副本因子调整策略的有效性,实验结果表明,随着文件访问热度的增加,改进策略可以有效降低系统作业平均响应时间,提升云环境下数据服务的性能。 展开更多

关键词 云计算 HDFS 动态副本因子 访问热度 时间局部性

下载PDF 职称材料

良性蠕虫SRF扩散模型研究 被引量：2

15

作者 张殿旭 张怡 +2 位作者 刘晓阳 曾星 彭军 《计算机工程与科学》 CSCD 北大核心 2010年第7期19-22,111,共5页

良性蠕虫是一种智能化、自动化的,综合了网络攻击、密码学和计算机病毒技术,无需计算机使用者干预即可运行的攻击程序或代码。良性蠕虫的应用前景广阔,但它传播时对网络造成的冲击使得这一技术的应用减缓,而良性蠕虫流量产生的主要环节... 良性蠕虫是一种智能化、自动化的,综合了网络攻击、密码学和计算机病毒技术,无需计算机使用者干预即可运行的攻击程序或代码。良性蠕虫的应用前景广阔,但它传播时对网络造成的冲击使得这一技术的应用减缓,而良性蠕虫流量产生的主要环节是扫描探测阶段和繁殖阶段。本文针对这一特点提出了SRF扩散模型,该模型在扫描探测阶段可采用有序化、分级化和RRH-l传播策略,在繁殖阶段结合有限繁殖算法和频度自适应的动态副本控制机制。经验证,和已有策略相比,SRF扩散模型在扫描探测阶段可减少扫描探测流量近40%,在繁殖阶段可精确控制蠕虫副本的数量,从而使其流量达到一个可控制的水平。 展开更多

关键词 良性蠕虫 扩散策略 有限繁殖 动态副本控制 SRF扩散模型

下载PDF 职称材料

基于RS纠删码的HDFS云存储动态副本策略研究 被引量：2

16

作者 王引娜 宋耀光 +1 位作者 倪巍 徐广庆 《科技创新导报》 2013年第17期29-31,共3页

目前多数云存储文件系统为保证其系统可靠性和性能所采用的静态完全副本冗余机制存在存储效率低、负载均衡能力差等缺点,为了提高云存储效率以及优化云存储的负载均衡能力,该文根据应用HDFS的经验,提出一种基于RS纠删码的云存储动态副... 目前多数云存储文件系统为保证其系统可靠性和性能所采用的静态完全副本冗余机制存在存储效率低、负载均衡能力差等缺点,为了提高云存储效率以及优化云存储的负载均衡能力,该文根据应用HDFS的经验,提出一种基于RS纠删码的云存储动态副本的冗余策略-SeaMaiden。SeaMaiden引入了副本调整模块和纠删码编解码模块,通过周期性的计算文件的热度,进而动态调整文件的副本数。当文件的副本数低于3时,则调用纠删码编解码模块对文件进行编码,提升文件的可靠性。当文件的热度级别上升时,则动态增加文件副本数,提升HDFS的负载均衡能力。通过实验证明SeaMaiden能有效提高HDFS的存储效率、可靠性及响应速度。 展开更多

关键词 RS纠删码 动态副本策略 HDFS

下载PDF 职称材料

基于反馈机制的动态副本数量预测方法 被引量：1

17

作者 石刘 郭明阳 +2 位作者 刘浏 沈玉良 许鲁 《系统仿真学报》 CAS CSCD 北大核心 2011年第B07期193-199,共7页

针对视频点播集群服务中对单一视频访问数量进行预测时,基于传统的历史信息加权方法产生的动态副本数量误差较大、点播集群负载均衡较差的问题,分析了传统方法预测误差产生的主要原因——对单一视频历史访问数量趋势信息的考虑缺失,并... 针对视频点播集群服务中对单一视频访问数量进行预测时,基于传统的历史信息加权方法产生的动态副本数量误差较大、点播集群负载均衡较差的问题,分析了传统方法预测误差产生的主要原因——对单一视频历史访问数量趋势信息的考虑缺失,并提出了一种基于反馈机制的动态副本数量预测方法。该方法在传统的基于历史信息加权方法的基础上,考虑了历史访问数量的趋势信息。对实际系统数据的模拟结果显示,在反馈系数等于1时,基于反馈机制可以使动态副本数量的平均预测错误率下降29.6%,峰值错误预测率下降42.9%。 展开更多

关键词 视频点播集群 预测 负载均衡 动态副本数量 反馈机制

下载PDF 职称材料

基于RS纠删码下HDFS云存储动态副本策略的思考 被引量：1

18

作者 杨莲 马磊 +3 位作者 吕传爱 李焱 尚明 佟峰 《科技创新与应用》 2018年第24期38-39,共2页

现如今,科技发展速度不断加快,云存储效率在先进科技的带动下大大提高,但云存储文件系统应用期间受静态完全副本冗余机制影响较大,这在一定程度上会增加云存储负载压力,最终影响系统运行稳定性,减慢系统运行速度。文章首先简要介绍RS纠... 现如今,科技发展速度不断加快,云存储效率在先进科技的带动下大大提高,但云存储文件系统应用期间受静态完全副本冗余机制影响较大,这在一定程度上会增加云存储负载压力,最终影响系统运行稳定性,减慢系统运行速度。文章首先简要介绍RS纠删码,然后针对HDFS完全副本与纠删码对比分析,最后重点探究RS纠删码基础下HDFS云存储动态副本策略。 展开更多

关键词 RS纠删码 HDFS 云存储 动态副本策略

下载PDF 职称材料

数据密集型应用中多优先级用户资源调度研究

19

作者 崔云飞 李新明 +1 位作者 李艺 刘东 《计算机科学与探索》 CSCD 2013年第10期953-960,共8页

针对用户之间具有明显优先级的数据密集型应用场景,提出了基于资源预留和资源抢占的用户级调度算法,该算法在提高资源利用率的前提下,能够快速响应高优先级用户的作业请求,降低资源抢占代价,并避免低优先级作业长时间得不到调度。提出... 针对用户之间具有明显优先级的数据密集型应用场景,提出了基于资源预留和资源抢占的用户级调度算法,该算法在提高资源利用率的前提下,能够快速响应高优先级用户的作业请求,降低资源抢占代价,并避免低优先级作业长时间得不到调度。提出了基于动态副本创建的任务调度算法,该算法实现了数据本地化执行,并解决了热点数据访问带来的负载均衡问题,降低了作业的响应时间。 展开更多

关键词 资源调度 资源预留 资源抢占 动态副本创建 MAPREDUCE

下载PDF 职称材料

一种基于访问概率预分配的流媒体集群动态副本更新算法

20

作者 卫星 杨坚 奚宏生 《中国科学技术大学学报》 CAS CSCD 北大核心 2009年第9期1001-1008,共8页

研究了同构流媒体集群服务器环境下的动态副本放置问题,提出一种请求调度和动态内容部署相结合的新颖策略.首先采用滑动窗的方式预测各文件的点播率,以平衡服务器之间的实时累积访问概率为目标,在不进行内容部署的情况下,预分配相同文... 研究了同构流媒体集群服务器环境下的动态副本放置问题,提出一种请求调度和动态内容部署相结合的新颖策略.首先采用滑动窗的方式预测各文件的点播率,以平衡服务器之间的实时累积访问概率为目标,在不进行内容部署的情况下,预分配相同文件不同副本的访问概率;同时进行零迁移代价的动态内容更新,从而能够提前反映出请求的实时倾向性,在降低系统请求拒绝率的同时,有效地减少了请求被分发到过载服务器后产生负载迁移的频度和代价.仿真分析的结果表明这种策略对于流媒体服务系统的研究和实践具有指导意义. 展开更多

关键词 负载均衡 实时服务迁移 动态副本放置 流媒体集群系统

下载PDF 职称材料