基于目录路径的元数据管理方法 被引量：21

1

作者 刘仲 周兴铭 《软件学报》 EI CSCD 北大核心 2007年第2期236-245,共10页

提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对象存储结构.该方法能够有效避免因为目录属性修改而导致的大量元数据更新与迁移;通过减少前缀目录的重迭缓存提高了元数据服务器Cache的利用率和命中率;通过减少遍历目... 提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对象存储结构.该方法能够有效避免因为目录属性修改而导致的大量元数据更新与迁移;通过减少前缀目录的重迭缓存提高了元数据服务器Cache的利用率和命中率;通过减少遍历目录路径的开销和充分开发目录的存储局部性,减少了磁盘I/O次数;通过元数据服务器的动态负载均衡避免单个服务器过载.实验结果表明,该方法在提高系统性能、均衡元数据分布以及减少元数据迁移等方面具有明显的优势. 展开更多

关键词 对象文件系统 元数据管理 目录路径 可伸缩

下载PDF 职称材料

基于文件等级的Ceph数据冗余存储策略的研究 被引量：7

2

作者 刘莎 楚传仁 《信息网络安全》 2016年第4期50-54,共5页

文章针对Ceph文件系统的可靠性和安全性进行了重点研究。系统的可靠性和安全性一般通过数据容错技术实现。广泛应用的数据容错技术有完全副本和纠删码。完全副本将数据复制成多份进行分散存储,这种方式会降低存储效率并浪费存储空间;而... 文章针对Ceph文件系统的可靠性和安全性进行了重点研究。系统的可靠性和安全性一般通过数据容错技术实现。广泛应用的数据容错技术有完全副本和纠删码。完全副本将数据复制成多份进行分散存储,这种方式会降低存储效率并浪费存储空间;而纠删码虽然可以有效利用存储空间,但由于需要对数据进行编码存储,访问数据时需要对其进行解码操作,使得数据的访问效率较低。文章结合这两种容错机制,在Ceph文件系统的基础上,提出了基于文件等级进行冗余存储的策略。该策略提供完全副本和纠删码两种存储方式,用户可以根据文件的等级划分来选择适合的存储方案。该方案确保重要数据具有高安全性,并能有效利用存储空间。 展开更多

关键词 对象文件系统 Ceph 数据容错机制 纠删码 完全副本

下载PDF 职称材料

基于对象存储系统的对象文件系统设计 被引量：4

3

作者 冯丹 史伟 +1 位作者 覃灵军 关卿 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2006年第12期47-49,共3页

基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文... 基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文件大小、不同文件分块大小条件下文件系统的性能进行测试分析,找出系统的数据传输瓶颈,使用以对象属性为导向的缓存和预取技术以及聚合读写的方法对文件系统进行了优化.优化后读写吞吐率分别提高了60 Mbyte/s和40 Mbyte/s. 展开更多

关键词 对象存储 基于对象文件系统 预取与缓存 聚合读写

下载PDF 职称材料

一种基于对象存储的文件系统的设计 被引量：4

4

作者 卢萍 陈进才 《计算机科学》 CSCD 北大核心 2008年第10期131-133,172,共4页

随着存储技术的飞速发展,对象存储设备面临如何高效存储并管理TB级容量数据的问题。针对Linux通用文件系统Ext2在处理大文件和巨型目录结构时存在的局限性,采用B+树结构设计并实现了一种基于连续块的对象文件系统。对该文件系统进行的... 随着存储技术的飞速发展,对象存储设备面临如何高效存储并管理TB级容量数据的问题。针对Linux通用文件系统Ext2在处理大文件和巨型目录结构时存在的局限性,采用B+树结构设计并实现了一种基于连续块的对象文件系统。对该文件系统进行的测试结果表明,该文件系统的读写效率较高,而且随着文件的增大,性能保持稳定。 展开更多

关键词 对象存储 文件系统 B+树

下载PDF 职称材料

对象存储设备端数据管理策略研究 被引量：3

5

作者 刘景宁 谢黎明 +1 位作者 冯丹 吕满 《计算机研究与发展》 EI CSCD 北大核心 2010年第10期1832-1839,共8页

在对象存储系统中,数据由智能化的对象存储设备管理.当前,对象存储设备端主要提供对象接口,传统的设计主要由通用文件I/O来封装.但是,通用文件系统在管理平坦命名空间时,尤其在长期使用后性能退化严重.因此,提出基于扩展Hash的对象文件... 在对象存储系统中,数据由智能化的对象存储设备管理.当前,对象存储设备端主要提供对象接口,传统的设计主要由通用文件I/O来封装.但是,通用文件系统在管理平坦命名空间时,尤其在长期使用后性能退化严重.因此,提出基于扩展Hash的对象文件系统XOBFS(extensible hashing objectbased storage file system),将磁盘空间划分成多个区域单元,区域中定长块分配策略与位图管理空闲块方式结合;对象属性用扩展Hash管理,在Hash桶中采用相同对象属性相邻存放策略.XOBFS应用在对象存储设备端,具有元数据规模小、长期使用性能不退化、对属性进行有效管理等特点.测试结果表明,基于大对象的XOBFS的吞吐率优于传统文件系统. 展开更多

关键词 对象存储系统 对象存储设备 对象文件系统 对象属性 可扩展Hash

下载PDF 职称材料

一种OSD文件系统的设计 被引量：2

6

作者 陕振 张淑萍 《计算机工程与设计》 CSCD 北大核心 2005年第9期2512-2514,2518,共4页

OSD文件系统主要承担通用文件系统中存储管理部分的功能,其与通用文件系统存在很大的差异,针对OSD的特征,设计了一种适用于小对象的OSD文件系统,其中提出了“盘区记录表”这种对象ID到对象数据的映射方式和一种新的空间分配策略,同时结... OSD文件系统主要承担通用文件系统中存储管理部分的功能,其与通用文件系统存在很大的差异,针对OSD的特征,设计了一种适用于小对象的OSD文件系统,其中提出了“盘区记录表”这种对象ID到对象数据的映射方式和一种新的空间分配策略,同时结合空间分配方式的特点提出了一种主动对象数据调整策略。实验表明,该文件系统在管理小型对象时能有效提高读写性能。 展开更多

关键词 基于对象存储设备 对象 文件系统 空间分配 盘区

下载PDF 职称材料

基于对象存储的Lustre文件系统的研究 被引量：2

7

作者 聂刚 卿秀华 《信息技术》 2007年第9期16-18,28,共4页

随着高性能计算网络集群系统的高速发展,传统的网络存储架构——网络附加存储NAS和存储区域网SAN已越来越不能够满足系统对存储性能的要求。针对SAN和NAS的不足,新一代的网络存储技术——基于对象存储OBS成为了研究的热点。重点论述了... 随着高性能计算网络集群系统的高速发展,传统的网络存储架构——网络附加存储NAS和存储区域网SAN已越来越不能够满足系统对存储性能的要求。针对SAN和NAS的不足,新一代的网络存储技术——基于对象存储OBS成为了研究的热点。重点论述了基于对象存储的架构和特点,并针对基于对象存储的Luster文件系统进行了初步测试,通过和传统的NFS文件系统对比,分析了对象存储文件系统在可扩展性、性能、易用性和安全性等方面的优越性能。 展开更多

关键词 基于对象存储 文件系统 LUSTRE NFS

下载PDF 职称材料

一种基于属性的对象访问方法

8

作者 刘群 冯丹 王芳 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2006年第12期50-52,共3页

基于对象存储,吸取NAS和SAN的优点,成为下一代网络存储模式.Ext2作为对象存储的文件系统,数据访问至少需两次以上的磁盘操作,由此提出了一种基于属性的对象访问方法.将数据的块地址和长度链接在一起,作为对象的扩展属性,连同数据对象一... 基于对象存储,吸取NAS和SAN的优点,成为下一代网络存储模式.Ext2作为对象存储的文件系统,数据访问至少需两次以上的磁盘操作,由此提出了一种基于属性的对象访问方法.将数据的块地址和长度链接在一起,作为对象的扩展属性,连同数据对象一起存储到磁盘中,无论数据对象大小,磁盘访问次数仅为两次,有效地提高了数据访问效率. 展开更多

关键词 基于对象存储设备 对象属性 对象访问 文件系统

下载PDF 职称材料

基于OSD的pNFS性能评测与分析

9

作者 文莎 《信息通信》 2014年第8期16-19,共4页

传统高性能存储服务如存储局域网(SAN)和网络附加存储(NAS)在性能和扩展性上难以满足海量数据的处理要求。基于对象存储设备(OSD)的并行网络文件系统(pNFS)通过元数据和数据的分离,有效弥补网络文件系统(NFS)性能和扩展性上的不足。为... 传统高性能存储服务如存储局域网(SAN)和网络附加存储(NAS)在性能和扩展性上难以满足海量数据的处理要求。基于对象存储设备(OSD)的并行网络文件系统(pNFS)通过元数据和数据的分离,有效弥补网络文件系统(NFS)性能和扩展性上的不足。为了解其实际性能,文章对基于OSD的pNFS与传统NFS进行了对比测试。首先介绍了pNFS的结构和特点,然后从吞吐率、小文件事务处理性能等方面对其进行测试,并与NFS的性能进行了对比分析,结果表明pNFS在同等硬件条件下可提供较高的吞吐率和扩展性。最后,针对现有原型系统的不足,提出改进方案。 展开更多

关键词 并行网络文件系统 基于对象的存储设备 exofs 文件系统 性能测试

下载PDF 职称材料

SOFS:用于OSD中的智能化的对象文件系统

10

作者 卢萍 鲁春怀 《计算机工程》 EI CAS CSCD 北大核心 2006年第20期69-71,共3页

为了优化基于对象的存储设备(OSD)内对象的存储,该文提出了一种用于OSD中的智能化的对象文件系统SOFS,它是一个文件系统容器,可以包含多种基于不同应用的文件系统,目前包含了两种文件系统:通用对象文件系统和媒体对象文件系统,分别用于... 为了优化基于对象的存储设备(OSD)内对象的存储,该文提出了一种用于OSD中的智能化的对象文件系统SOFS,它是一个文件系统容器,可以包含多种基于不同应用的文件系统,目前包含了两种文件系统:通用对象文件系统和媒体对象文件系统,分别用于存储文档、网页等小对象和大的媒体对象。SOFS在Linux内核中的实现与ext2比较,结果显示,读写普通文档等小对象时,SOFS的性能高出ext2大约10%,而读写大的媒体对象时,效率高出ext230%左右。 展开更多

关键词 基于对象的存储设备 对象 对象文件系统

下载PDF 职称材料

基于对象存储文件系统的文件级RAID机制研究

11

作者 熊安萍 蔡毅峰 蒋溢 《湖南师范大学自然科学学报》 CAS 北大核心 2010年第4期41-45,共5页

随着高性能计算由传统的主机方式向网络化集群演变,传统的基于主机的存储架构已逐渐向网络化存储发展,计算和存储分离的趋势越来越明显.针对SAN和NAS的不足,国际上已开展针对Linux集群的新型文件系统——对象存储文件系统的研究.以Lustr... 随着高性能计算由传统的主机方式向网络化集群演变,传统的基于主机的存储架构已逐渐向网络化存储发展,计算和存储分离的趋势越来越明显.针对SAN和NAS的不足,国际上已开展针对Linux集群的新型文件系统——对象存储文件系统的研究.以Lustre为例对对象存储的文件分片技术进行了阐述,分析了Lustre的分片机制以及相关的分片技术,实现了一种基于Lustre的文件级RAID机制.实验结果表明,相比于不分片的文件存储机制而言,提高了系统读写性能. 展开更多

关键词 对象存储 LUSTRE 文件系统 文件分片

下载PDF 职称材料

一种基于pNFS协议的对象文件系统的设计与实现

12

作者 李洪昌 舒继武 《小型微型计算机系统》 CSCD 北大核心 2012年第11期2336-2340,共5页

随着存储规模的持续增长,SAN环境中基于块的集群文件系统的元数据服务越来越成为系统进一步扩展的瓶颈,基于对象存储设备(OSD)的文件系统成为未来大规模分布式文件系统发展的方向.Linux已有的基于OSD的pNFS文件系统为pNFS+exofs的解决方... 随着存储规模的持续增长,SAN环境中基于块的集群文件系统的元数据服务越来越成为系统进一步扩展的瓶颈,基于对象存储设备(OSD)的文件系统成为未来大规模分布式文件系统发展的方向.Linux已有的基于OSD的pNFS文件系统为pNFS+exofs的解决方案,它将文件系统的元数据与数据都保存在OSD上.提出一种新的基于pNFS协议的对象文件系统的实现方案,将元数据和数据的保存和服务分离,文件系统的元数据保存在本地文件系统中,数据保存在OSD设备上.相比已有的pNFS+exofs的方案,该方案的实现和部署更加灵活方便,同时减轻了OSD模拟器的读写负载,有利于元数据和数据存储和服务的单独扩展. 展开更多

关键词 OSD pNFS exofs 对象文件系统

下载PDF 职称材料

Cfslight:一个新型的轻量级对象存储集群文件系统

13

作者 汪黎 章文嵩 杨学军 《微电子学与计算机》 CSCD 北大核心 2006年第9期209-211,214,共4页

对象存储技术是国际上提出的集群文件系统的新技术,已成为国际上的研究热点。文章基于Linux操作系统实现了一个新型的轻量级对象存储集群文件系统Cfslight,它的优点是配置安装简单,使用方便,大大提高了集群系统的易用性、易管理性。此外... 对象存储技术是国际上提出的集群文件系统的新技术,已成为国际上的研究热点。文章基于Linux操作系统实现了一个新型的轻量级对象存储集群文件系统Cfslight,它的优点是配置安装简单,使用方便,大大提高了集群系统的易用性、易管理性。此外,由于采用了对象存储技术的核心思想和多线程技术以及对象存储体在操作系统内核实现,因而Cfslight还具有较好的性能。 展开更多

关键词 集群 对象存储 存储系统 文件系统

下载PDF 职称材料

OFFS:基于对象模型的闪存文件系统研究 被引量：1

14

作者 林伟 张延园 +1 位作者 李战怀 王彦龙 《计算机应用研究》 CSCD 北大核心 2008年第8期2316-2318,共3页

提出了一种基于对象的存储系统管理框架,它使用统一的对象接口来访问flash或者磁盘。重点对基于对象模型的闪存文件系统进行了研究设计,在系统中引入了段的层次来进行对象管理,通过分析能够显著减少徘徊树问题引起的大量数据更新次数,... 提出了一种基于对象的存储系统管理框架,它使用统一的对象接口来访问flash或者磁盘。重点对基于对象模型的闪存文件系统进行了研究设计,在系统中引入了段的层次来进行对象管理,通过分析能够显著减少徘徊树问题引起的大量数据更新次数,并避免了垃圾回收时多余的I/O操作,缓解了垃圾回收过程中的数据锁定问题。 展开更多

关键词 对象存储 基于对象模型的闪存文件系统 垃圾回收

下载PDF 职称材料

大规模并行文件系统中的数据可靠性机制

15

作者 谈华芳 侯紫峰 《计算机工程》 EI CAS CSCD 北大核心 2006年第9期25-27,共3页

把分布式的备份思想应用到大规模并行文件系统中,在使用冗余机制构建数据的系统中提供快速恢复机制。并使用马尔可夫模型建立了一个平均直到数据丢失时间的分布模型,指导如何在数据可靠性需求和冗余数据开销之间进行平衡。根据可靠性模... 把分布式的备份思想应用到大规模并行文件系统中,在使用冗余机制构建数据的系统中提供快速恢复机制。并使用马尔可夫模型建立了一个平均直到数据丢失时间的分布模型,指导如何在数据可靠性需求和冗余数据开销之间进行平衡。根据可靠性模型分析,在快速恢复机制下,使用m-n机制,只要n≥m+2,并且恢复数据所需的计算时间与磁盘I/O时间相比可以忽略不计,就可以满足大规模存储系统对可靠性的需求。 展开更多

关键词 可靠性 基于对象存储系统 并行文件系统

下载PDF 职称材料