一种基于对象存储的文件系统的设计 被引量：4

1

作者 卢萍 陈进才 《计算机科学》 CSCD 北大核心 2008年第10期131-133,172,共4页

随着存储技术的飞速发展,对象存储设备面临如何高效存储并管理TB级容量数据的问题。针对Linux通用文件系统Ext2在处理大文件和巨型目录结构时存在的局限性,采用B+树结构设计并实现了一种基于连续块的对象文件系统。对该文件系统进行的... 随着存储技术的飞速发展,对象存储设备面临如何高效存储并管理TB级容量数据的问题。针对Linux通用文件系统Ext2在处理大文件和巨型目录结构时存在的局限性,采用B+树结构设计并实现了一种基于连续块的对象文件系统。对该文件系统进行的测试结果表明,该文件系统的读写效率较高,而且随着文件的增大,性能保持稳定。 展开更多

关键词 对象存储 文件系统 B+树

下载PDF 职称材料

一种海量小文件对象存储优化方案 被引量：4

2

作者 屠雪真 黄震江 《计算机技术与发展》 2019年第8期31-36,共6页

在海量小文件存储场景下,传统分布式文件系统存在元数据服务器性能瓶颈、存储空间浪费严重、磁盘I/O效率低等问题。业界主要采用小文件聚合的方法解决这个问题,但现有研究依赖于从聚合结构到小文件的二次映射和查表检索等传统方法。文... 在海量小文件存储场景下,传统分布式文件系统存在元数据服务器性能瓶颈、存储空间浪费严重、磁盘I/O效率低等问题。业界主要采用小文件聚合的方法解决这个问题,但现有研究依赖于从聚合结构到小文件的二次映射和查表检索等传统方法。文中提出一种基于对象文件系统的海量小文件优化方案,根据局部性特征将小文件聚合为文件组,使用算法直接进行对象数据存储位置的分布与定位,将低效的查表检索方式改变为高效快捷的“计算检索”方式,这更加适合大规模分布式系统的设计;在客户端采用小文件数据大粒度预读技术,聚合小粒度I/O为大粒度I/O,提升了磁盘访问效率,使用页面热缓存和温缓存两级队列管理及识别热数据,并利用文件的局部性特征提升缓存命中率。实验结果表明,在海量小文件随机读写场景下性能提升50%左右。 展开更多

关键词 对象文件系统 小文件 元数据 聚合结构 查表索引 预读

下载PDF 职称材料

一种OSD文件系统的设计 被引量：2

3

作者 陕振 张淑萍 《计算机工程与设计》 CSCD 北大核心 2005年第9期2512-2514,2518,共4页

OSD文件系统主要承担通用文件系统中存储管理部分的功能,其与通用文件系统存在很大的差异,针对OSD的特征,设计了一种适用于小对象的OSD文件系统,其中提出了“盘区记录表”这种对象ID到对象数据的映射方式和一种新的空间分配策略,同时结... OSD文件系统主要承担通用文件系统中存储管理部分的功能,其与通用文件系统存在很大的差异,针对OSD的特征,设计了一种适用于小对象的OSD文件系统,其中提出了“盘区记录表”这种对象ID到对象数据的映射方式和一种新的空间分配策略,同时结合空间分配方式的特点提出了一种主动对象数据调整策略。实验表明,该文件系统在管理小型对象时能有效提高读写性能。 展开更多

关键词 基于对象存储设备 对象 文件系统 空间分配 盘区

下载PDF 职称材料

基于对象存储的Lustre文件系统的研究 被引量：2

4

作者 聂刚 卿秀华 《信息技术》 2007年第9期16-18,28,共4页

随着高性能计算网络集群系统的高速发展,传统的网络存储架构——网络附加存储NAS和存储区域网SAN已越来越不能够满足系统对存储性能的要求。针对SAN和NAS的不足,新一代的网络存储技术——基于对象存储OBS成为了研究的热点。重点论述了... 随着高性能计算网络集群系统的高速发展,传统的网络存储架构——网络附加存储NAS和存储区域网SAN已越来越不能够满足系统对存储性能的要求。针对SAN和NAS的不足,新一代的网络存储技术——基于对象存储OBS成为了研究的热点。重点论述了基于对象存储的架构和特点,并针对基于对象存储的Luster文件系统进行了初步测试,通过和传统的NFS文件系统对比,分析了对象存储文件系统在可扩展性、性能、易用性和安全性等方面的优越性能。 展开更多

关键词 基于对象存储 文件系统 LUSTRE NFS

下载PDF 职称材料

基于对象存储的集群文件系统CFSlight设计与实现 被引量：1

5

作者 章文嵩 王召福 刘仲 《大连理工大学学报》 EI CAS CSCD 北大核心 2003年第z1期171-174,共4页

在线存储以及数据密集型应用的发展,对信息存储性能的要求越来越高,分布式存储系统是应对数据存储需求的重要研究方向.基于对象存储技术和Linux操作系统平台设计与实现的集群文件系统CFSlight,能够有效提高存储系统的可扩展性、I/O性能... 在线存储以及数据密集型应用的发展,对信息存储性能的要求越来越高,分布式存储系统是应对数据存储需求的重要研究方向.基于对象存储技术和Linux操作系统平台设计与实现的集群文件系统CFSlight,能够有效提高存储系统的可扩展性、I/O性能、可用性等技术指标,具有很好的发展前景. 展开更多

关键词 对象 集群 存储系统 文件系统

下载PDF 职称材料

网络化自动测试系统的数据模型研究 被引量：2

6

作者 杨晓文 韩燮 《计算机工程》 CAS CSCD 北大核心 2010年第11期47-49,共3页

依据网络化自动测试系统(NATS)存储和查询功能对数据模型的要求,比较扩展关系数据模型、语义数据模型和面向对象数据模型等多媒体数据模型实现方式的优缺点,提出数据库设计的基本框架为静态数据信息采用关系型数据模型,非结构化的多媒... 依据网络化自动测试系统(NATS)存储和查询功能对数据模型的要求,比较扩展关系数据模型、语义数据模型和面向对象数据模型等多媒体数据模型实现方式的优缺点,提出数据库设计的基本框架为静态数据信息采用关系型数据模型,非结构化的多媒体数据信息采用对象-关系模型与文件系统结合的方式,并完成NATS的总体设计。实验结果证明了该框架的有效性。 展开更多

关键词 网络化自动测试系统 多媒体数据库 关系模型 对象-关系模型 文件系统

下载PDF 职称材料

一种基于属性的对象访问方法

7

作者 刘群 冯丹 王芳 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2006年第12期50-52,共3页

基于对象存储,吸取NAS和SAN的优点,成为下一代网络存储模式.Ext2作为对象存储的文件系统,数据访问至少需两次以上的磁盘操作,由此提出了一种基于属性的对象访问方法.将数据的块地址和长度链接在一起,作为对象的扩展属性,连同数据对象一... 基于对象存储,吸取NAS和SAN的优点,成为下一代网络存储模式.Ext2作为对象存储的文件系统,数据访问至少需两次以上的磁盘操作,由此提出了一种基于属性的对象访问方法.将数据的块地址和长度链接在一起,作为对象的扩展属性,连同数据对象一起存储到磁盘中,无论数据对象大小,磁盘访问次数仅为两次,有效地提高了数据访问效率. 展开更多

关键词 基于对象存储设备 对象属性 对象访问 文件系统

下载PDF 职称材料

基于Swift对象存储的移动网盘客户端设计 被引量：1

8

作者 杜纪魁 《电脑与电信》 2017年第12期79-81,共3页

Swift是一个提供RESTful HTTP接口的对象存储系统,它是开源云计算平台Openstack的一个重要组件。Swift存储具有数据访问灵活、高数据持久性、极高的可拓展性、无单点故障等优势。本文从底层开发SDK分析开始,为对象存储设计构造了模拟文... Swift是一个提供RESTful HTTP接口的对象存储系统,它是开源云计算平台Openstack的一个重要组件。Swift存储具有数据访问灵活、高数据持久性、极高的可拓展性、无单点故障等优势。本文从底层开发SDK分析开始,为对象存储设计构造了模拟文件系统,并对基于开源对象存储的Android移动网盘客户端开发进行了探讨。 展开更多

关键词 swift对象存储 模拟文件系统 Android网盘

下载PDF 职称材料

基于C++的Windows CE文件I/O处理技术

9

作者 刘长红 周定康 《计算机与现代化》 2004年第2期11-13,共3页

通过对WindowsCE文件系统的分析以及各种文件I/O处理方法的进一步研究 ,发现大多数WindowsCE应用程序的文件I/O处理都是使用基于Win32API函数的方法或基于MFC类库中CFile类的方法 ,本文讨论了这两种文件处理方法的基本原理及其运用。

关键词 C++ API函数 文件系统 嵌入式操作系统 Windows CE I/O处理

下载PDF 职称材料

基于对象存储文件系统的文件级RAID机制研究

10

作者 熊安萍 蔡毅峰 蒋溢 《湖南师范大学自然科学学报》 CAS 北大核心 2010年第4期41-45,共5页

随着高性能计算由传统的主机方式向网络化集群演变,传统的基于主机的存储架构已逐渐向网络化存储发展,计算和存储分离的趋势越来越明显.针对SAN和NAS的不足,国际上已开展针对Linux集群的新型文件系统——对象存储文件系统的研究.以Lustr... 随着高性能计算由传统的主机方式向网络化集群演变,传统的基于主机的存储架构已逐渐向网络化存储发展,计算和存储分离的趋势越来越明显.针对SAN和NAS的不足,国际上已开展针对Linux集群的新型文件系统——对象存储文件系统的研究.以Lustre为例对对象存储的文件分片技术进行了阐述,分析了Lustre的分片机制以及相关的分片技术,实现了一种基于Lustre的文件级RAID机制.实验结果表明,相比于不分片的文件存储机制而言,提高了系统读写性能. 展开更多

关键词 对象存储 LUSTRE 文件系统 文件分片

下载PDF 职称材料

Hummer:面向NVMe闪存设备的对象存储系统

11

作者 李思阳 刘粉林 《信息工程大学学报》 2019年第4期421-426,共6页

基于NVMe的高速闪存由于多层次的抽象和语义限制,无法在分布式文件系统中充分发挥硬件性能。提出一种高效的对象存储Hummer改善基于闪存分布式文件系统的写入性能。对于数据写入,通过一种细粒度的I/O管理,降低了多层次的软件开销;对于... 基于NVMe的高速闪存由于多层次的抽象和语义限制,无法在分布式文件系统中充分发挥硬件性能。提出一种高效的对象存储Hummer改善基于闪存分布式文件系统的写入性能。对于数据写入,通过一种细粒度的I/O管理,降低了多层次的软件开销;对于元数据更新,使用键值数据库和更细粒度的元数据单元使其更适合NVMe的访问。测试结果表明,相对于当前的BlueStore对象存储设备,Hummer能够在单个节点下能够提供2.75倍以上的带宽。在5个节点的分布式环境下,能够发挥闪存66%以上的性能,比目前性能最好的Lustre文件系统提高了30%。 展开更多

关键词 对象存储 高速闪存 分布式文件系统

下载PDF 职称材料

基于对象模式的UNIX实时文件系统设计

12

作者 陈学锋 郭福顺 王振宇 《哈尔滨工业大学学报》 EI CAS CSCD 北大核心 1993年第3期47-52,共6页

随着操作系统的发展,其组织结构可分为层次结构、内核结构和基于对象结构.对象结构使操作系统具有较高的灵活性、可扩展性和安全性.本文提出一个以对象结构组织实时文件系统的方法.在该方法中文件系统由若干实时轻对象组成,使得文件系... 随着操作系统的发展,其组织结构可分为层次结构、内核结构和基于对象结构.对象结构使操作系统具有较高的灵活性、可扩展性和安全性.本文提出一个以对象结构组织实时文件系统的方法.在该方法中文件系统由若干实时轻对象组成,使得文件系统功能易于扩展和变化并能够获得满足新一代硬实时操作系统要求的实时可预测性能.同时文件系统本身成为操作系统中的一个重对象增加了系统整体的安全性和灵活性并使操作系统能够实现文件系统的动态更换。 展开更多

关键词 对象 实时 操作系统 文件系统

下载PDF 职称材料

Cfslight:一个新型的轻量级对象存储集群文件系统

13

作者 汪黎 章文嵩 杨学军 《微电子学与计算机》 CSCD 北大核心 2006年第9期209-211,214,共4页

对象存储技术是国际上提出的集群文件系统的新技术,已成为国际上的研究热点。文章基于Linux操作系统实现了一个新型的轻量级对象存储集群文件系统Cfslight,它的优点是配置安装简单,使用方便,大大提高了集群系统的易用性、易管理性。此外... 对象存储技术是国际上提出的集群文件系统的新技术,已成为国际上的研究热点。文章基于Linux操作系统实现了一个新型的轻量级对象存储集群文件系统Cfslight,它的优点是配置安装简单,使用方便,大大提高了集群系统的易用性、易管理性。此外,由于采用了对象存储技术的核心思想和多线程技术以及对象存储体在操作系统内核实现,因而Cfslight还具有较好的性能。 展开更多

关键词 集群 对象存储 存储系统 文件系统

下载PDF 职称材料

基于目录路径的元数据管理方法 被引量：21

14

作者 刘仲 周兴铭 《软件学报》 EI CSCD 北大核心 2007年第2期236-245,共10页

提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对象存储结构.该方法能够有效避免因为目录属性修改而导致的大量元数据更新与迁移;通过减少前缀目录的重迭缓存提高了元数据服务器Cache的利用率和命中率;通过减少遍历目... 提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对象存储结构.该方法能够有效避免因为目录属性修改而导致的大量元数据更新与迁移;通过减少前缀目录的重迭缓存提高了元数据服务器Cache的利用率和命中率;通过减少遍历目录路径的开销和充分开发目录的存储局部性,减少了磁盘I/O次数;通过元数据服务器的动态负载均衡避免单个服务器过载.实验结果表明,该方法在提高系统性能、均衡元数据分布以及减少元数据迁移等方面具有明显的优势. 展开更多

关键词 对象文件系统 元数据管理 目录路径 可伸缩

下载PDF 职称材料

基于文件等级的Ceph数据冗余存储策略的研究 被引量：7

15

作者 刘莎 楚传仁 《信息网络安全》 2016年第4期50-54,共5页

文章针对Ceph文件系统的可靠性和安全性进行了重点研究。系统的可靠性和安全性一般通过数据容错技术实现。广泛应用的数据容错技术有完全副本和纠删码。完全副本将数据复制成多份进行分散存储,这种方式会降低存储效率并浪费存储空间;而... 文章针对Ceph文件系统的可靠性和安全性进行了重点研究。系统的可靠性和安全性一般通过数据容错技术实现。广泛应用的数据容错技术有完全副本和纠删码。完全副本将数据复制成多份进行分散存储,这种方式会降低存储效率并浪费存储空间;而纠删码虽然可以有效利用存储空间,但由于需要对数据进行编码存储,访问数据时需要对其进行解码操作,使得数据的访问效率较低。文章结合这两种容错机制,在Ceph文件系统的基础上,提出了基于文件等级进行冗余存储的策略。该策略提供完全副本和纠删码两种存储方式,用户可以根据文件的等级划分来选择适合的存储方案。该方案确保重要数据具有高安全性,并能有效利用存储空间。 展开更多

关键词 对象文件系统 Ceph 数据容错机制 纠删码 完全副本

下载PDF 职称材料

基于对象存储系统的对象文件系统设计 被引量：4

16

作者 冯丹 史伟 +1 位作者 覃灵军 关卿 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2006年第12期47-49,共3页

基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文... 基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文件大小、不同文件分块大小条件下文件系统的性能进行测试分析,找出系统的数据传输瓶颈,使用以对象属性为导向的缓存和预取技术以及聚合读写的方法对文件系统进行了优化.优化后读写吞吐率分别提高了60 Mbyte/s和40 Mbyte/s. 展开更多

关键词 对象存储 基于对象文件系统 预取与缓存 聚合读写

下载PDF 职称材料

对象存储设备端数据管理策略研究 被引量：3

17

作者 刘景宁 谢黎明 +1 位作者 冯丹 吕满 《计算机研究与发展》 EI CSCD 北大核心 2010年第10期1832-1839,共8页

在对象存储系统中,数据由智能化的对象存储设备管理.当前,对象存储设备端主要提供对象接口,传统的设计主要由通用文件I/O来封装.但是,通用文件系统在管理平坦命名空间时,尤其在长期使用后性能退化严重.因此,提出基于扩展Hash的对象文件... 在对象存储系统中,数据由智能化的对象存储设备管理.当前,对象存储设备端主要提供对象接口,传统的设计主要由通用文件I/O来封装.但是,通用文件系统在管理平坦命名空间时,尤其在长期使用后性能退化严重.因此,提出基于扩展Hash的对象文件系统XOBFS(extensible hashing objectbased storage file system),将磁盘空间划分成多个区域单元,区域中定长块分配策略与位图管理空闲块方式结合;对象属性用扩展Hash管理,在Hash桶中采用相同对象属性相邻存放策略.XOBFS应用在对象存储设备端,具有元数据规模小、长期使用性能不退化、对属性进行有效管理等特点.测试结果表明,基于大对象的XOBFS的吞吐率优于传统文件系统. 展开更多

关键词 对象存储系统 对象存储设备 对象文件系统 对象属性 可扩展Hash

下载PDF 职称材料

大规模并行文件系统中的数据可靠性机制

18

作者 谈华芳 侯紫峰 《计算机工程》 EI CAS CSCD 北大核心 2006年第9期25-27,共3页

把分布式的备份思想应用到大规模并行文件系统中,在使用冗余机制构建数据的系统中提供快速恢复机制。并使用马尔可夫模型建立了一个平均直到数据丢失时间的分布模型,指导如何在数据可靠性需求和冗余数据开销之间进行平衡。根据可靠性模... 把分布式的备份思想应用到大规模并行文件系统中,在使用冗余机制构建数据的系统中提供快速恢复机制。并使用马尔可夫模型建立了一个平均直到数据丢失时间的分布模型,指导如何在数据可靠性需求和冗余数据开销之间进行平衡。根据可靠性模型分析,在快速恢复机制下,使用m-n机制,只要n≥m+2,并且恢复数据所需的计算时间与磁盘I/O时间相比可以忽略不计,就可以满足大规模存储系统对可靠性的需求。 展开更多

关键词 可靠性 基于对象存储系统 并行文件系统

下载PDF 职称材料

基于策略的对象存储文件系统管理模型研究 被引量：1

19

作者 伍卫国 王鹤 +1 位作者 赵海祥 钱德沛 《计算机应用研究》 CSCD 北大核心 2007年第10期51-53,共3页

基于对象存储文件系统结构特点和策略管理思想,提出了对象存储文件系统管理的一般模型。定义了两种策略结构,并通过分析对象存储文件系统节点状态转换逻辑关系,给出了管理策略订制的理论依据。模型及其管理策略订制方法在Lustre对象存... 基于对象存储文件系统结构特点和策略管理思想,提出了对象存储文件系统管理的一般模型。定义了两种策略结构,并通过分析对象存储文件系统节点状态转换逻辑关系,给出了管理策略订制的理论依据。模型及其管理策略订制方法在Lustre对象存储文件系统中得到应用,效果良好。 展开更多

关键词 对象存储文件系统 对象管理 策略 LUSTRE

下载PDF 职称材料

OFFS:基于对象模型的闪存文件系统研究 被引量：1

20

作者 林伟 张延园 +1 位作者 李战怀 王彦龙 《计算机应用研究》 CSCD 北大核心 2008年第8期2316-2318,共3页

提出了一种基于对象的存储系统管理框架,它使用统一的对象接口来访问flash或者磁盘。重点对基于对象模型的闪存文件系统进行了研究设计,在系统中引入了段的层次来进行对象管理,通过分析能够显著减少徘徊树问题引起的大量数据更新次数,... 提出了一种基于对象的存储系统管理框架,它使用统一的对象接口来访问flash或者磁盘。重点对基于对象模型的闪存文件系统进行了研究设计,在系统中引入了段的层次来进行对象管理,通过分析能够显著减少徘徊树问题引起的大量数据更新次数,并避免了垃圾回收时多余的I/O操作,缓解了垃圾回收过程中的数据锁定问题。 展开更多

关键词 对象存储 基于对象模型的闪存文件系统 垃圾回收

下载PDF 职称材料