基于对象存储系统的对象文件系统设计 被引量：4

1

作者 冯丹 史伟 +1 位作者 覃灵军 关卿 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2006年第12期47-49,共3页

基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文... 基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文件大小、不同文件分块大小条件下文件系统的性能进行测试分析,找出系统的数据传输瓶颈,使用以对象属性为导向的缓存和预取技术以及聚合读写的方法对文件系统进行了优化.优化后读写吞吐率分别提高了60 Mbyte/s和40 Mbyte/s. 展开更多

关键词 对象存储 基于对象文件系统 预取与缓存 聚合读写

下载PDF 职称材料

一种基于对象存储的文件系统的设计 被引量：4

2

作者 卢萍 陈进才 《计算机科学》 CSCD 北大核心 2008年第10期131-133,172,共4页

随着存储技术的飞速发展,对象存储设备面临如何高效存储并管理TB级容量数据的问题。针对Linux通用文件系统Ext2在处理大文件和巨型目录结构时存在的局限性,采用B+树结构设计并实现了一种基于连续块的对象文件系统。对该文件系统进行的... 随着存储技术的飞速发展,对象存储设备面临如何高效存储并管理TB级容量数据的问题。针对Linux通用文件系统Ext2在处理大文件和巨型目录结构时存在的局限性,采用B+树结构设计并实现了一种基于连续块的对象文件系统。对该文件系统进行的测试结果表明,该文件系统的读写效率较高,而且随着文件的增大,性能保持稳定。 展开更多

关键词 对象存储 文件系统 B+树

下载PDF 职称材料

对象存储设备端数据管理策略研究 被引量：3

3

作者 刘景宁 谢黎明 +1 位作者 冯丹 吕满 《计算机研究与发展》 EI CSCD 北大核心 2010年第10期1832-1839,共8页

在对象存储系统中,数据由智能化的对象存储设备管理.当前,对象存储设备端主要提供对象接口,传统的设计主要由通用文件I/O来封装.但是,通用文件系统在管理平坦命名空间时,尤其在长期使用后性能退化严重.因此,提出基于扩展Hash的对象文件... 在对象存储系统中,数据由智能化的对象存储设备管理.当前,对象存储设备端主要提供对象接口,传统的设计主要由通用文件I/O来封装.但是,通用文件系统在管理平坦命名空间时,尤其在长期使用后性能退化严重.因此,提出基于扩展Hash的对象文件系统XOBFS(extensible hashing objectbased storage file system),将磁盘空间划分成多个区域单元,区域中定长块分配策略与位图管理空闲块方式结合;对象属性用扩展Hash管理,在Hash桶中采用相同对象属性相邻存放策略.XOBFS应用在对象存储设备端,具有元数据规模小、长期使用性能不退化、对属性进行有效管理等特点.测试结果表明,基于大对象的XOBFS的吞吐率优于传统文件系统. 展开更多

关键词 对象存储系统 对象存储设备 对象文件系统 对象属性 可扩展Hash

下载PDF 职称材料

一种OSD文件系统的设计 被引量：2

4

作者 陕振 张淑萍 《计算机工程与设计》 CSCD 北大核心 2005年第9期2512-2514,2518,共4页

OSD文件系统主要承担通用文件系统中存储管理部分的功能,其与通用文件系统存在很大的差异,针对OSD的特征,设计了一种适用于小对象的OSD文件系统,其中提出了“盘区记录表”这种对象ID到对象数据的映射方式和一种新的空间分配策略,同时结... OSD文件系统主要承担通用文件系统中存储管理部分的功能,其与通用文件系统存在很大的差异,针对OSD的特征,设计了一种适用于小对象的OSD文件系统,其中提出了“盘区记录表”这种对象ID到对象数据的映射方式和一种新的空间分配策略,同时结合空间分配方式的特点提出了一种主动对象数据调整策略。实验表明,该文件系统在管理小型对象时能有效提高读写性能。 展开更多

关键词 基于对象存储设备 对象 文件系统 空间分配 盘区

下载PDF 职称材料

基于对象存储的Lustre文件系统的研究 被引量：2

5

作者 聂刚 卿秀华 《信息技术》 2007年第9期16-18,28,共4页

随着高性能计算网络集群系统的高速发展,传统的网络存储架构——网络附加存储NAS和存储区域网SAN已越来越不能够满足系统对存储性能的要求。针对SAN和NAS的不足,新一代的网络存储技术——基于对象存储OBS成为了研究的热点。重点论述了... 随着高性能计算网络集群系统的高速发展,传统的网络存储架构——网络附加存储NAS和存储区域网SAN已越来越不能够满足系统对存储性能的要求。针对SAN和NAS的不足,新一代的网络存储技术——基于对象存储OBS成为了研究的热点。重点论述了基于对象存储的架构和特点,并针对基于对象存储的Luster文件系统进行了初步测试,通过和传统的NFS文件系统对比,分析了对象存储文件系统在可扩展性、性能、易用性和安全性等方面的优越性能。 展开更多

关键词 基于对象存储 文件系统 LUSTRE NFS

下载PDF 职称材料

大规模并行文件系统中的数据可靠性机制

6

作者 谈华芳 侯紫峰 《计算机工程》 EI CAS CSCD 北大核心 2006年第9期25-27,共3页

把分布式的备份思想应用到大规模并行文件系统中,在使用冗余机制构建数据的系统中提供快速恢复机制。并使用马尔可夫模型建立了一个平均直到数据丢失时间的分布模型,指导如何在数据可靠性需求和冗余数据开销之间进行平衡。根据可靠性模... 把分布式的备份思想应用到大规模并行文件系统中,在使用冗余机制构建数据的系统中提供快速恢复机制。并使用马尔可夫模型建立了一个平均直到数据丢失时间的分布模型,指导如何在数据可靠性需求和冗余数据开销之间进行平衡。根据可靠性模型分析,在快速恢复机制下,使用m-n机制,只要n≥m+2,并且恢复数据所需的计算时间与磁盘I/O时间相比可以忽略不计,就可以满足大规模存储系统对可靠性的需求。 展开更多

关键词 可靠性 基于对象存储系统 并行文件系统

下载PDF 职称材料

基于对象存储的集群文件系统CFSlight设计与实现 被引量：1

7

作者 章文嵩 王召福 刘仲 《大连理工大学学报》 EI CAS CSCD 北大核心 2003年第z1期171-174,共4页

在线存储以及数据密集型应用的发展,对信息存储性能的要求越来越高,分布式存储系统是应对数据存储需求的重要研究方向.基于对象存储技术和Linux操作系统平台设计与实现的集群文件系统CFSlight,能够有效提高存储系统的可扩展性、I/O性能... 在线存储以及数据密集型应用的发展,对信息存储性能的要求越来越高,分布式存储系统是应对数据存储需求的重要研究方向.基于对象存储技术和Linux操作系统平台设计与实现的集群文件系统CFSlight,能够有效提高存储系统的可扩展性、I/O性能、可用性等技术指标,具有很好的发展前景. 展开更多

关键词 对象 集群 存储系统 文件系统

下载PDF 职称材料

基于策略的对象存储文件系统管理模型研究 被引量：1

8

作者 伍卫国 王鹤 +1 位作者 赵海祥 钱德沛 《计算机应用研究》 CSCD 北大核心 2007年第10期51-53,共3页

基于对象存储文件系统结构特点和策略管理思想,提出了对象存储文件系统管理的一般模型。定义了两种策略结构,并通过分析对象存储文件系统节点状态转换逻辑关系,给出了管理策略订制的理论依据。模型及其管理策略订制方法在Lustre对象存... 基于对象存储文件系统结构特点和策略管理思想,提出了对象存储文件系统管理的一般模型。定义了两种策略结构,并通过分析对象存储文件系统节点状态转换逻辑关系,给出了管理策略订制的理论依据。模型及其管理策略订制方法在Lustre对象存储文件系统中得到应用,效果良好。 展开更多

关键词 对象存储文件系统 对象管理 策略 LUSTRE

下载PDF 职称材料

基于Swift对象存储的移动网盘客户端设计 被引量：1

9

作者 杜纪魁 《电脑与电信》 2017年第12期79-81,共3页

Swift是一个提供RESTful HTTP接口的对象存储系统,它是开源云计算平台Openstack的一个重要组件。Swift存储具有数据访问灵活、高数据持久性、极高的可拓展性、无单点故障等优势。本文从底层开发SDK分析开始,为对象存储设计构造了模拟文... Swift是一个提供RESTful HTTP接口的对象存储系统,它是开源云计算平台Openstack的一个重要组件。Swift存储具有数据访问灵活、高数据持久性、极高的可拓展性、无单点故障等优势。本文从底层开发SDK分析开始,为对象存储设计构造了模拟文件系统,并对基于开源对象存储的Android移动网盘客户端开发进行了探讨。 展开更多

关键词 swift对象存储 模拟文件系统 Android网盘

下载PDF 职称材料

一种基于属性的对象访问方法

10

作者 刘群 冯丹 王芳 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2006年第12期50-52,共3页

基于对象存储,吸取NAS和SAN的优点,成为下一代网络存储模式.Ext2作为对象存储的文件系统,数据访问至少需两次以上的磁盘操作,由此提出了一种基于属性的对象访问方法.将数据的块地址和长度链接在一起,作为对象的扩展属性,连同数据对象一... 基于对象存储,吸取NAS和SAN的优点,成为下一代网络存储模式.Ext2作为对象存储的文件系统,数据访问至少需两次以上的磁盘操作,由此提出了一种基于属性的对象访问方法.将数据的块地址和长度链接在一起,作为对象的扩展属性,连同数据对象一起存储到磁盘中,无论数据对象大小,磁盘访问次数仅为两次,有效地提高了数据访问效率. 展开更多

关键词 基于对象存储设备 对象属性 对象访问 文件系统

下载PDF 职称材料

基于OSD的pNFS性能评测与分析

11

作者 文莎 《信息通信》 2014年第8期16-19,共4页

传统高性能存储服务如存储局域网(SAN)和网络附加存储(NAS)在性能和扩展性上难以满足海量数据的处理要求。基于对象存储设备(OSD)的并行网络文件系统(pNFS)通过元数据和数据的分离,有效弥补网络文件系统(NFS)性能和扩展性上的不足。为... 传统高性能存储服务如存储局域网(SAN)和网络附加存储(NAS)在性能和扩展性上难以满足海量数据的处理要求。基于对象存储设备(OSD)的并行网络文件系统(pNFS)通过元数据和数据的分离,有效弥补网络文件系统(NFS)性能和扩展性上的不足。为了解其实际性能,文章对基于OSD的pNFS与传统NFS进行了对比测试。首先介绍了pNFS的结构和特点,然后从吞吐率、小文件事务处理性能等方面对其进行测试,并与NFS的性能进行了对比分析,结果表明pNFS在同等硬件条件下可提供较高的吞吐率和扩展性。最后,针对现有原型系统的不足,提出改进方案。 展开更多

关键词 并行网络文件系统 基于对象的存储设备 exofs 文件系统 性能测试

下载PDF 职称材料

Cfslight:一个新型的轻量级对象存储集群文件系统

12

作者 汪黎 章文嵩 杨学军 《微电子学与计算机》 CSCD 北大核心 2006年第9期209-211,214,共4页

对象存储技术是国际上提出的集群文件系统的新技术,已成为国际上的研究热点。文章基于Linux操作系统实现了一个新型的轻量级对象存储集群文件系统Cfslight,它的优点是配置安装简单,使用方便,大大提高了集群系统的易用性、易管理性。此外... 对象存储技术是国际上提出的集群文件系统的新技术,已成为国际上的研究热点。文章基于Linux操作系统实现了一个新型的轻量级对象存储集群文件系统Cfslight,它的优点是配置安装简单,使用方便,大大提高了集群系统的易用性、易管理性。此外,由于采用了对象存储技术的核心思想和多线程技术以及对象存储体在操作系统内核实现,因而Cfslight还具有较好的性能。 展开更多

关键词 集群 对象存储 存储系统 文件系统

下载PDF 职称材料

基于对象存储文件系统的文件级RAID机制研究

13

作者 熊安萍 蔡毅峰 蒋溢 《湖南师范大学自然科学学报》 CAS 北大核心 2010年第4期41-45,共5页

随着高性能计算由传统的主机方式向网络化集群演变,传统的基于主机的存储架构已逐渐向网络化存储发展,计算和存储分离的趋势越来越明显.针对SAN和NAS的不足,国际上已开展针对Linux集群的新型文件系统——对象存储文件系统的研究.以Lustr... 随着高性能计算由传统的主机方式向网络化集群演变,传统的基于主机的存储架构已逐渐向网络化存储发展,计算和存储分离的趋势越来越明显.针对SAN和NAS的不足,国际上已开展针对Linux集群的新型文件系统——对象存储文件系统的研究.以Lustre为例对对象存储的文件分片技术进行了阐述,分析了Lustre的分片机制以及相关的分片技术,实现了一种基于Lustre的文件级RAID机制.实验结果表明,相比于不分片的文件存储机制而言,提高了系统读写性能. 展开更多

关键词 对象存储 LUSTRE 文件系统 文件分片

下载PDF 职称材料

Hummer:面向NVMe闪存设备的对象存储系统

14

作者 李思阳 刘粉林 《信息工程大学学报》 2019年第4期421-426,共6页

基于NVMe的高速闪存由于多层次的抽象和语义限制,无法在分布式文件系统中充分发挥硬件性能。提出一种高效的对象存储Hummer改善基于闪存分布式文件系统的写入性能。对于数据写入,通过一种细粒度的I/O管理,降低了多层次的软件开销;对于... 基于NVMe的高速闪存由于多层次的抽象和语义限制,无法在分布式文件系统中充分发挥硬件性能。提出一种高效的对象存储Hummer改善基于闪存分布式文件系统的写入性能。对于数据写入,通过一种细粒度的I/O管理,降低了多层次的软件开销;对于元数据更新,使用键值数据库和更细粒度的元数据单元使其更适合NVMe的访问。测试结果表明,相对于当前的BlueStore对象存储设备,Hummer能够在单个节点下能够提供2.75倍以上的带宽。在5个节点的分布式环境下,能够发挥闪存66%以上的性能,比目前性能最好的Lustre文件系统提高了30%。 展开更多

关键词 对象存储 高速闪存 分布式文件系统

下载PDF 职称材料

OFFS:基于对象模型的闪存文件系统研究 被引量：1

15

作者 林伟 张延园 +1 位作者 李战怀 王彦龙 《计算机应用研究》 CSCD 北大核心 2008年第8期2316-2318,共3页

提出了一种基于对象的存储系统管理框架,它使用统一的对象接口来访问flash或者磁盘。重点对基于对象模型的闪存文件系统进行了研究设计,在系统中引入了段的层次来进行对象管理,通过分析能够显著减少徘徊树问题引起的大量数据更新次数,... 提出了一种基于对象的存储系统管理框架,它使用统一的对象接口来访问flash或者磁盘。重点对基于对象模型的闪存文件系统进行了研究设计,在系统中引入了段的层次来进行对象管理,通过分析能够显著减少徘徊树问题引起的大量数据更新次数,并避免了垃圾回收时多余的I/O操作,缓解了垃圾回收过程中的数据锁定问题。 展开更多

关键词 对象存储 基于对象模型的闪存文件系统 垃圾回收

下载PDF 职称材料