期刊文献+
共找到270篇文章
< 1 2 14 >
每页显示 20 50 100
基于Hadoop平台的分布式重删存储系统 被引量:16
1
作者 刘青 付印金 +1 位作者 倪桂强 梅建民 《计算机应用》 CSCD 北大核心 2016年第2期330-335,共6页
针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop... 针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统(HDFS)和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,Map Reduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。 展开更多
关键词 重复数据删除 分布式存储 HADOOP HBASE HADOOP分布式文件系统
下载PDF
云存储加密数据去重删除所有权证明方法 被引量:14
2
作者 杨超 张俊伟 +1 位作者 董学文 马建峰 《计算机研究与发展》 EI CSCD 北大核心 2015年第1期248-258,共11页
随着云计算服务的广泛应用,为了节省磁盘空间和带宽,出现了一种新技术:客户端去重复化.但近期发现了一种针对该技术的新型攻击:攻击者只需获得原始文件的一个摘要信息,即文件的散列值,即可从服务器端获得全部原始文件.为了解决上述安全... 随着云计算服务的广泛应用,为了节省磁盘空间和带宽,出现了一种新技术:客户端去重复化.但近期发现了一种针对该技术的新型攻击:攻击者只需获得原始文件的一个摘要信息,即文件的散列值,即可从服务器端获得全部原始文件.为了解决上述安全问题,提出了一个密码学安全的、高效的证明方案来支持多客户端加密文件的去重复删除场景.通过抽样检测、动态系数和随机选择的原始文件检索值使方案达到安全与高效的目标;同时,还提出了一种巧妙的分布式捎带技术,将文件加密密钥的分发过程与所有权证明过程同步实施.最后,对所提方案进行了严格的安全性证明和深入的性能分析与仿真,结果表明,所提的方案不仅能达到可证明的安全级别,而且执行效率较高,尤其在减少客户端计算负载方面. 展开更多
关键词 云存储 去重复化 可证明所有权 抽样检测 可证明安全
下载PDF
基于收敛加密的云安全去重与完整性审计系统 被引量:12
3
作者 郭晓勇 付安民 +1 位作者 况博裕 丁纬佳 《通信学报》 EI CSCD 北大核心 2017年第S2期156-163,共8页
云存储应用以其便利性、可扩展性等优势迅速成为个人用户和企业存储的不二选择,但安全去重与完整性审计是云存储面临的关键问题。首先提出了基于盲签名的收敛密钥封装与解封算法,在安全存储收敛密钥的同时可以实现收敛密钥去重,提高了... 云存储应用以其便利性、可扩展性等优势迅速成为个人用户和企业存储的不二选择,但安全去重与完整性审计是云存储面临的关键问题。首先提出了基于盲签名的收敛密钥封装与解封算法,在安全存储收敛密钥的同时可以实现收敛密钥去重,提高了云存储空间利用率。另一方面,提出了基于收敛密钥的BLS签名算法,并利用可信第三方(TTP)存储审计公钥和代理审计,实现了对审计签名和审计公钥的去重,减轻了客户端存储和计算负担。在此基础上,进一步设计与实现了一个基于收敛加密的云安全去重和完整性审计系统。该系统能为云存储提供数据隐私保护、重复认证、审计认证等安全服务,且进一步降低了客户端、云端的存储和计算开销。 展开更多
关键词 去重 收敛密钥 密钥管理 代理审计
下载PDF
基于离线密钥分发的加密数据重复删除方法 被引量:12
4
作者 张曙光 咸鹤群 +2 位作者 王雅哲 刘红燕 侯瑞涛 《软件学报》 EI CSCD 北大核心 2018年第7期1909-1921,共13页
重复数据删除技术受到工业界和学术界的广泛关注.研究者致力于将云服务器中的冗余数据安全地删除,明文数据的重复删除方法较为简单.而用户为了保护隐私,会使用各自的密钥将数据加密后上传至云服务器,形成不同的加密数据.在保证安全性的... 重复数据删除技术受到工业界和学术界的广泛关注.研究者致力于将云服务器中的冗余数据安全地删除,明文数据的重复删除方法较为简单.而用户为了保护隐私,会使用各自的密钥将数据加密后上传至云服务器,形成不同的加密数据.在保证安全性的前提下,加密数据的重复删除较难实现.目前已有的方案较多依赖于在线的可信第三方.提出一种基于离线密钥分发的加密数据重复删除方案,通过构造双线性映射,在不泄露数据隐私的前提下,验证加密数据是否源自同一明文.利用广播加密技术实现加密密钥的安全存储与传递.任意数据的初始上传者能够借助云服务器,以离线方式验证后继上传者的合法性并传递数据加密密钥.无需可信第三方在线参与,实现了云服务器对加密数据的重复删除.分析并证明了方案的安全性.仿真实验验证了方案的可行性与高效性. 展开更多
关键词 重复数据删除 双线性映射 隐私保护 数据的流行度
下载PDF
基于重复数据删除的虚拟桌面存储优化技术 被引量:12
5
作者 付印金 肖侬 +1 位作者 刘芳 鲍先强 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期125-130,共6页
虚拟桌面基础架构依靠数据中心海量的云基础设施,为用户按需提供虚拟桌面部署所需的软硬件资源,但同时面临存储资源利用率低和虚拟机启动慢的困境.针对虚拟桌面存储中具有大量数据冗余的特性,采用重复数据删除技术缩减虚拟桌面基础架构... 虚拟桌面基础架构依靠数据中心海量的云基础设施,为用户按需提供虚拟桌面部署所需的软硬件资源,但同时面临存储资源利用率低和虚拟机启动慢的困境.针对虚拟桌面存储中具有大量数据冗余的特性,采用重复数据删除技术缩减虚拟桌面基础架构的存储空间需求;并利用服务器本地磁盘缓存以及共享存储池内的固态硬盘来优化虚拟机的启动性能.通过原型实现,发现相比于基于内容分块的策略,静态分块策略更适合虚拟桌面存储进行重复数据删除,最优的分块大小为4KB,并能够缩减85%的存储空间容量;通过服务器本地磁盘缓存和基于闪存的固态硬盘进行I/O优化,虚拟机的启动速度能够获得35%的提升. 展开更多
关键词 云计算 虚拟桌面 重复数据删除 存储优化 固态硬盘
下载PDF
密钥共享下跨用户密文数据去重挖掘方法 被引量:10
6
作者 高永强 《沈阳工业大学学报》 EI CAS 北大核心 2020年第2期203-207,共5页
针对当前密文数据去重挖掘方法存在去重效果较差、特征聚合能力低的问题,提出一种密钥共享下跨用户密文数据去重挖掘方法.结合非线性统计序列分析方法对密钥共享下跨用户密文数据的统计特征进行采样,通过识别不同领域的统计特征进行密... 针对当前密文数据去重挖掘方法存在去重效果较差、特征聚合能力低的问题,提出一种密钥共享下跨用户密文数据去重挖掘方法.结合非线性统计序列分析方法对密钥共享下跨用户密文数据的统计特征进行采样,通过识别不同领域的统计特征进行密文数据的线性编码设计,抽取密钥共享下跨用户密文数据的平均互信息特征量.采用匹配滤波方法实现密钥共享下跨用户密文数据的去重处理.仿真结果表明,采用该方法的去重效果较好,特征聚合能力较强. 展开更多
关键词 密钥共享 跨用户 密文数据 去重 挖掘 特征提取 统计特征 匹配滤波
下载PDF
云存储环境中基于离线密钥传递的加密重复数据删除方法研究 被引量:9
7
作者 张曙光 咸鹤群 +1 位作者 刘红燕 侯瑞涛 《信息网络安全》 CSCD 2017年第7期66-72,共7页
重复数据删除技术在云存储的快速发展中扮演着重要角色。在上传数据之前,对数据加密已成常态。使用不同加密密钥加密相同数据得到不同密文,导致云服务器无法实现加密重复数据删除。文章提出一种能够离线传递加密密钥的安全加密重复数据... 重复数据删除技术在云存储的快速发展中扮演着重要角色。在上传数据之前,对数据加密已成常态。使用不同加密密钥加密相同数据得到不同密文,导致云服务器无法实现加密重复数据删除。文章提出一种能够离线传递加密密钥的安全加密重复数据删除方案。在划分数据类型的基础上,借助椭圆曲线构造数据流行度的查询标签;利用广播加密技术构建安全密钥传递方案,使得相同明文被加密为相同密文,云服务器能够完成非流行数据重复删除;针对流行数据,使用改进后的收敛加密算法,在保证数据存储安全的同时,提高流行数据重复删除的效率。安全分析与仿真实验表明,文章方案拥有较高的安全性与实用性。 展开更多
关键词 重复数据删除 椭圆曲线 广播加密 数据流行度
下载PDF
一种高效存储解决方案的分析与研究 被引量:9
8
作者 张砚波 刘正伟 +1 位作者 文中领 王永海 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期180-184,共5页
企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间,面对TB甚至是PB级海量数据如何进行高效存储成为研究的重点.伴随着云计算和云存储的发展,对后端的高效存储和管理成为存储方面的重点研究问题,高效存储和管理不仅为用户... 企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间,面对TB甚至是PB级海量数据如何进行高效存储成为研究的重点.伴随着云计算和云存储的发展,对后端的高效存储和管理成为存储方面的重点研究问题,高效存储和管理不仅为用户提供更高质量的服务,而且还可以降低用户成本,实现高效低碳的环保型存储,这其中主要用到了多协议访问、存储虚拟化、自动精简配置、重复数据删除等关键技术. 展开更多
关键词 存储虚拟化 多协议支持 自动精简配置 重复数据删除 LiveStor
下载PDF
移动闪存的重复数据删除技术 被引量:8
9
作者 贺秦禄 边根庆 +1 位作者 邵必林 张维琪 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2020年第1期128-134,共7页
由于闪存在智能手机和物联网等设备上的容量和可靠性都是有限的,重复数据删除可以通过删除重复I/O来解决这些限制,但必须在设备的各种资源限制下完成。提出了一种M-Dedupe重复数据删除方法,应用内容感知聚类重复数据删除关键路径上的I/... 由于闪存在智能手机和物联网等设备上的容量和可靠性都是有限的,重复数据删除可以通过删除重复I/O来解决这些限制,但必须在设备的各种资源限制下完成。提出了一种M-Dedupe重复数据删除方法,应用内容感知聚类重复数据删除关键路径上的I/O请求,通过提高闪存垃圾回收效率来提高手机的性能和效率。通过原型系统验证的结果表明,M-Dedupe在所有选定的移动应用负载下,写数据量平均减少23.7%~42.5%,平均写响应时间减少21.2%~39.8%,平均擦除数据块减少16.8%~43.9%。该方法能够在移动闪存系统中实现高准确率的重复数据删除,提升重复数据删除的效率,节省存储空间。 展开更多
关键词 移动存储 重复数据删除 闪存
下载PDF
新型存储设备上重复数据删除指纹查找优化 被引量:8
10
作者 何柯文 张佳辰 +1 位作者 刘晓光 王刚 《计算机研究与发展》 EI CSCD 北大核心 2020年第2期269-280,共12页
指纹查找部分是I/O密集型工作负载,即外存存储设备的性能是指纹查找的性能瓶颈.因此关注重复数据删除系统的指纹查找部分,对比了传统的勤奋指纹查找算法和致力于减少磁盘访问次数的懒惰指纹查找算法,分析了2种方法在傲腾固态硬盘(Optane... 指纹查找部分是I/O密集型工作负载,即外存存储设备的性能是指纹查找的性能瓶颈.因此关注重复数据删除系统的指纹查找部分,对比了传统的勤奋指纹查找算法和致力于减少磁盘访问次数的懒惰指纹查找算法,分析了2种方法在傲腾固态硬盘(Optane solid state drive,Optane SSD)和持久性内存(persistent memory,PM)两种新型存储设备上的性能表现,并给出了优化建议.对勤奋指纹查找算法和懒惰指纹查找算法的时间进行建模,分析得出了指纹查找算法在新型存储设备下的3点优化结论:1)应减少统一查找的指纹数;2)在较快设备上应减少懒惰指纹查找中局部性环的大小,并且局部性环大小存在一个最优值;3)在快速设备上,勤奋指纹查找的效果要优于懒惰指纹查找.最终,在实际机械硬盘(hard disk drive,HDD)、Optane SSD和PM模拟器上实验验证了模型的正确性.实验结果显示,快速设备上指纹查找的时间相较于HDD减少90%以上,并且采用勤奋算法要优于懒惰算法,局部性环最优值前移的现象,也与模型理论优化结果吻合. 展开更多
关键词 重复数据删除 持久性内存 指纹索引 新型存储设备 数据空间局部性
下载PDF
数字环境下的美国高校图书馆纸本资源管理 被引量:7
11
作者 邱葵 《图书馆论坛》 CSSCI 北大核心 2019年第6期168-175,共8页
为了顺应读者在数字时代的服务需求,图书馆需要重新规划空间的使用,而最简单经济的方法是合理管理传统的纸本资源,以便腾出空间来引进新型服务。文章介绍美国高校图书馆如何由单独的图书馆到联盟,从地区到全国等层面,管理纸本资源及其流... 为了顺应读者在数字时代的服务需求,图书馆需要重新规划空间的使用,而最简单经济的方法是合理管理传统的纸本资源,以便腾出空间来引进新型服务。文章介绍美国高校图书馆如何由单独的图书馆到联盟,从地区到全国等层面,管理纸本资源及其流程,着重讨论如何利用当今的技术手段使高校图书馆能无后顾之忧地剔出重复的图书馆资源,从而优化图书馆馆藏。 展开更多
关键词 高校图书馆 馆藏管理 纸本资源 去重 纸本资源共享 美国
下载PDF
一种基于聚类分组的虚拟机镜像去冗余方法 被引量:7
12
作者 徐继伟 张文博 +2 位作者 魏峻 钟华 黄涛 《软件学报》 EI CSCD 北大核心 2016年第2期466-480,共15页
随着云计算的兴起,虚拟化技术使用也越来越广泛,虚拟机正逐步取代物理机,成为应用服务的部署环境.出于灵活性、可靠性等方面的需求,虚拟机镜像急剧增长,如何高效地、经济地管理这些镜像文件已成为一个很有挑战性的研究热点.由于虚拟机... 随着云计算的兴起,虚拟化技术使用也越来越广泛,虚拟机正逐步取代物理机,成为应用服务的部署环境.出于灵活性、可靠性等方面的需求,虚拟机镜像急剧增长,如何高效地、经济地管理这些镜像文件已成为一个很有挑战性的研究热点.由于虚拟机镜像之间存在大量重复性的数据块,高效的去冗余方法对于虚拟机镜像管理至关重要.然而,传统的去冗余方法由于需要巨大的资源开销,会对平台中托管的虚拟机性能造成干扰,因而并不适用于云环境.提出了一种局部去冗余的方法,旨在优化镜像去冗余过程.其核心思想是:将全局去冗余变成局部去冗余,从而降低去冗余算法的空间复杂度,以达到减少操作时间的目的.该方法利用虚拟机镜像相似性作为启发式规则对虚拟机镜像进行分组,当一个新的镜像到来时,通过统计抽样的方法为镜像选取最为相似的分组进行去冗余.实验结果表明:该方法可以通过牺牲1%左右的存储空间,缩短50%以上的去冗余操作时间. 展开更多
关键词 云计算 虚拟化 虚拟机镜像 存储 去冗余
下载PDF
Public Auditing for Encrypted Data with Client-Side Deduplication in Cloud Storage 被引量:4
13
作者 HE Kai HUANG Chuanhe +3 位作者 ZHOU Hao SHI Jiaoli WANG Xiaomao DAN Feng 《Wuhan University Journal of Natural Sciences》 CAS CSCD 2015年第4期291-298,共8页
Storage auditing and client-side deduplication techniques have been proposed to assure data integrity and improve storage efficiency, respectively. Recently, a few schemes start to consider these two different aspects... Storage auditing and client-side deduplication techniques have been proposed to assure data integrity and improve storage efficiency, respectively. Recently, a few schemes start to consider these two different aspects together. However, these schemes either only support plaintext data file or have been proved insecure. In this paper, we propose a public auditing scheme for cloud storage systems, in which deduplication of encrypted data and data integrity checking can be achieved within the same framework. The cloud server can correctly check the ownership for new owners and the auditor can correctly check the integrity of deduplicated data. Our scheme supports deduplication of encrypted data by using the method of proxy re-encryption and also achieves deduplication of data tags by aggregating the tags from different owners. The analysis and experiment results show that our scheme is provably secure and efficient. 展开更多
关键词 public auditing data integrity storage deduplication cloud storage
原文传递
A Lookahead Read Cache: Improving Read Performance for Deduplication Backup Storage 被引量:4
14
作者 Dongchul Park Ziqi Fan +1 位作者 Young Jin Nam David H. C. Du 《Journal of Computer Science & Technology》 SCIE EI CSCD 2017年第1期26-40,共15页
Data deduplication (dedupe for short) is a special data compression technique. It has been widely adopted to save backup time as well as storage space, particularly in backup storage systems. Therefore, most dedupe ... Data deduplication (dedupe for short) is a special data compression technique. It has been widely adopted to save backup time as well as storage space, particularly in backup storage systems. Therefore, most dedupe research has primarily focused on improving dedupe write performance. However, backup storage dedupe read performance is also a crucial problem for storage recovery. This paper designs a new dedupe storage read cache for backup applications that improves read performance by exploiting a special characteristic: the read sequence is the same as the write sequence. Consequently, for better cache utilization, by looking ahead for future references within a moving window, it evicts victims from the cache having the smallest future access. Moreover~ to further improve read cache performance. it maintains a small log buffer to judiciously cache future access data chunks. Extensive experiments with real-world backup workloads demonstrate that the proposed read cache scheme improves read performance by up to 64.3% 展开更多
关键词 deduplication dedupe read cache BACKUP
原文传递
新的云存储文件去重复删除方法 被引量:6
15
作者 杨超 纪倩 +4 位作者 熊思纯 刘茂珍 马建峰 姜奇 白琳 《通信学报》 EI CSCD 北大核心 2017年第3期25-33,共9页
去重被广泛地应用于云存储服务中以节省带宽和存储资源,然而,客户端去重复化删除中仍存在安全缺陷,使外部攻击者可访问用户私有数据。基于密文的跨用户的去重复化删除方案Xu-CDE被首次提出,该方案支持在外部攻击者和诚实且好奇的服务器... 去重被广泛地应用于云存储服务中以节省带宽和存储资源,然而,客户端去重复化删除中仍存在安全缺陷,使外部攻击者可访问用户私有数据。基于密文的跨用户的去重复化删除方案Xu-CDE被首次提出,该方案支持在外部攻击者和诚实且好奇的服务器同时存在的场景下保护数据隐私,具有良好的理论意义和代表性。然而该方案中的用户所有权认证凭据缺乏实时性保护,以致不能抵抗重放攻击。针对该缺陷,提出改进方案云存储中基于MLE与随机数改进的客户端密文去重(MRN-CDE),引入随机因子以保障认证凭据的实时性,并利用MLE-KP算法通过原始文件提取密钥代替用文件本身作为加密密钥,在提高安全性的同时大大降低了运算量。经过安全性分析与测试,结果表明,所提出的改进方案MRN-CDE在Xu-CDE方案的基础上,不仅增强所有权认证的安全性,而且在时间效率上也有所提高,对于云端大文件的文件去重效果尤其佳,具有一定的应用价值。 展开更多
关键词 加密数据 去重 所有权认证 实时性 云存储
下载PDF
基于重复数据删除的分层存储优化技术研究进展
16
作者 姚子路 付印金 肖侬 《计算机科学》 北大核心 2025年第1期120-130,共11页
随着全球数据量的爆炸式增长以及数据多样性的日益丰富,单一介质层的存储系统逐渐不能满足用户多样化的应用需求。分层存储技术可依据数据的重要性、访问频率、安全性需求等特征将数据分类存放到具有不同访问延迟、存储容量、容错能力... 随着全球数据量的爆炸式增长以及数据多样性的日益丰富,单一介质层的存储系统逐渐不能满足用户多样化的应用需求。分层存储技术可依据数据的重要性、访问频率、安全性需求等特征将数据分类存放到具有不同访问延迟、存储容量、容错能力的存储层中,已经在各个领域得到广泛应用。重复数据删除是一种面向大数据的缩减技术,可高效去除存储系统中的重复数据,最大化存储空间利用率。不同于单存储层场景,将重复数据删除技术运用于分层存储中,不仅能减少跨层数据冗余,进一步节省存储空间、降低存储成本,还能更好地提升数据I/O性能和存储设备的耐久性。在简要分析基于重复数据删除的分层存储技术的原理、流程和分类之后,从存储位置选择、重复内容识别和数据迁移操作3个关键步骤入手,深入总结了诸多优化方法的研究进展,并针对基于重复数据删除的分层存储技术潜在的技术挑战进行了深入探讨。最后展望了基于重复数据删除的分层存储技术的未来发展趋势。 展开更多
关键词 重复数据删除 分层存储 存储位置选择 重复内容识别 数据迁移
基于压缩近邻的查重元数据去冗算法设计 被引量:3
17
作者 姚文斌 叶鹏迪 +1 位作者 李小勇 常静坤 《通信学报》 EI CSCD 北大核心 2015年第8期1-7,共7页
随着重复数据删除次数的增加,系统中用于存储指纹索引的清单文件等元数据信息会不断累积,导致不可忽视的存储资源开销。因此,如何在不影响重复数据删除率的基础上,对重复数据删除过程中产生的元数据信息进行压缩,从而减小查重索引,是进... 随着重复数据删除次数的增加,系统中用于存储指纹索引的清单文件等元数据信息会不断累积,导致不可忽视的存储资源开销。因此,如何在不影响重复数据删除率的基础上,对重复数据删除过程中产生的元数据信息进行压缩,从而减小查重索引,是进一步提高重复数据删除效率和存储资源利用率的重要因素。针对查重元数据中存在大量冗余数据,提出了一种基于压缩近邻的查重元数据去冗算法Dedup2。该算法先利用聚类算法将查重元数据分为若干类,然后利用压缩近邻算法消除查重元数据中相似度较高的数据以获得查重子集,并在该查重子集上利用文件相似性对数据对象进行重复数据删除操作。实验结果表明,Dedup2可以在保持近似的重复数据删除比的基础上,将查重索引大小压缩50%以上。 展开更多
关键词 重复数据删除 查重元数据 近邻压缩规则
下载PDF
一种支持海量数据备份的可扩展分布式重复数据删除系统 被引量:5
18
作者 刘厚贵 邢晶 +1 位作者 霍志刚 安学军 《计算机研究与发展》 EI CSCD 北大核心 2013年第S2期64-70,共7页
现代信息化社会中,数据的爆炸式增长使得存储和管理数据的成本越来越高,数据备份和恢复的时间越来越长,数据中心的能耗越来越严重.重复数据删除技术在缓解数据的高速增长和节约成本方面有很好的应用前景.然而面对日益增长的海量数据,重... 现代信息化社会中,数据的爆炸式增长使得存储和管理数据的成本越来越高,数据备份和恢复的时间越来越长,数据中心的能耗越来越严重.重复数据删除技术在缓解数据的高速增长和节约成本方面有很好的应用前景.然而面对日益增长的海量数据,重复数据删除技术需要在数据路由和指纹查询方面提供高可扩展的支持.对于数据路由,提出了基于分布式布隆过滤器(Bloom Filter)的有状态数据路由技术:拆分Bloom Filter并将其分布于多节点并发管理,可以在提高数据路由的扩展性同时降低其通信开销.对于去重节点内的指纹查询,提出了基于取样机制的指纹查询优化方法:通过可扩展Hash结构组织海量取样指纹信息,并根据取样指纹的时间局部性原理对指纹缓存进行管理.为了对研究工作进行评价,设计并实现了分布式重复数据删除系统3D-deduper(distributed data deduplication system),并进行了数据路由和去重性能相关的测试.实验结果表明,基于分布式布隆过滤器的数据路由技术能够使得分布式重复数据删除系统维持与单节点重复数据删除系统相当的去重率,波动低于5%.在取样查询方面,数据去重率在取样率为1?32时仍能达到非取样重复数据删除系统数据去重率的95%以上.在去重性能方面,单节点去重带宽最高可达到200MBps.在节点扩展时,去重带宽仍能保持近似线性的扩展性. 展开更多
关键词 重复数据删除 数据路由 可扩展哈希 分布式布隆过滤器
下载PDF
一种支持所有权认证的客户端图像模糊去重方法 被引量:5
19
作者 李丹平 杨超 +2 位作者 姜奇 马建峰 李成洲 《计算机学报》 EI CSCD 北大核心 2018年第6期1267-1283,共17页
由于图像具有数量大、冗余多的特性,所以需要重复数据删除技术的支持,但已有的基于哈希值的文件重复删除技术不适用于图像去重.针对图像的去重面临以下三个挑战:需要支持图像模糊去重;需要对相似图像进行所有权认证;需要进行图像感知质... 由于图像具有数量大、冗余多的特性,所以需要重复数据删除技术的支持,但已有的基于哈希值的文件重复删除技术不适用于图像去重.针对图像的去重面临以下三个挑战:需要支持图像模糊去重;需要对相似图像进行所有权认证;需要进行图像感知质量评价.针对以上挑战文中提出了一种支持所有权认证的客户端图像模糊去重方法.该方案的核心包括:采用高准确度感知哈希算法,以满足图像相似性的高准确度检查;采用新设计的协议进行相似图像的所有权认证;采用无参考通用图像质量评价方法,以完成图像感知质量的评价.经过安全性分析,结果表明,新方案达到了可证明其安全的安全强度,这是图像去重领域的新突破;同时,经过大量仿真测试,结果表明,新方案可以准确地进行相似检测,还可以对多种失真图像进行感知质量评价,满足了新的技术挑战;另外,性能测试结果表明,新方案的时间开销较小,能快速高效地去重,节省了大量存储资源和网络带宽. 展开更多
关键词 所有权认证 重复数据删除 感知哈希 离散余弦变换 图像感知质量评价
下载PDF
一种基于重复数据删除的镜像文件存储方法研究 被引量:5
20
作者 李锋 陆婷婷 郭建华 《计算机科学》 CSCD 北大核心 2016年第S2期495-498,共4页
在云计算环境中,基础设施即服务的日益发展导致虚拟机和虚拟机镜像的急剧增加,例如,Amazon Elastic Compute Cloud(EC2)有6521个公共虚拟机镜像文件,这给云环境的管理带来了极大的挑战,特别是大量镜像文件带来的重复数据的空间存储问题... 在云计算环境中,基础设施即服务的日益发展导致虚拟机和虚拟机镜像的急剧增加,例如,Amazon Elastic Compute Cloud(EC2)有6521个公共虚拟机镜像文件,这给云环境的管理带来了极大的挑战,特别是大量镜像文件带来的重复数据的空间存储问题。为解决这一问题,提出一种基于固定分块的镜像文件重复数据删除的存储方案。当存储一个镜像文件时,先计算该镜像文件的指纹,并与指纹库的指纹比较,若存在则用指针替代,否则采用固定分块对镜像文件分割存储。为此,可以设计镜像文件元数据格式和镜像文件MD5索引表来解决上述问题。实验结果表明,内容相同的镜像文件只是元数据的开销并实现秒传,而相同版本、相同系统、不同软件的镜像组的重删率约达到58%。因此,本方案是非常有效的。 展开更多
关键词 云计算 重复数据删除 镜像文件存储
下载PDF
上一页 1 2 14 下一页 到第
使用帮助 返回顶部