分布式文件系统元数据服务的负载均衡框架 被引量：16

1

作者 孙耀 刘杰 +1 位作者 叶丹 钟华 《软件学报》 EI CSCD 北大核心 2016年第12期3192-3207,共16页

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,... 请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性. 展开更多

关键词 元数据服务器 分布式文件系统 负载均衡 预取 缓存

下载PDF 职称材料

基于共享存储池的元数据服务器机群的设计研究 被引量：7

2

作者 苏勇 周敬利 +2 位作者 余胜生 姜明华 刘钢 《小型微型计算机系统》 CSCD 北大核心 2007年第4期734-737,共4页

在大型分布式对象存储系统中,元数据服务系统是一个潜在的访问瓶颈.本文提出一种通过分层式文件系统构建共享存储池的采用两次分布式哈希函数方式的元数据服务系统.其具有不需要人工干预的故障恢复性和易扩展特性,而且最大程度减少了MD... 在大型分布式对象存储系统中,元数据服务系统是一个潜在的访问瓶颈.本文提出一种通过分层式文件系统构建共享存储池的采用两次分布式哈希函数方式的元数据服务系统.其具有不需要人工干预的故障恢复性和易扩展特性,而且最大程度减少了MDS之间大量元数据的物理迁移.实验测试证明系统具有良好的I/O性能. 展开更多

关键词 元数据服务器 共享存储池 哈希 对象存储

下载PDF 职称材料

基于对象存储的新型元数据管理策略 被引量：8

3

作者 方圆 杜祝平 周功业 《计算机工程》 CAS CSCD 2012年第3期25-27,共3页

在对已有对象存储元数据管理策略进行研究的基础上,提出一种基于对象存储的新型元数据管理策略。该策略将命名空间的目录子树分割为等粒度的中子树,将中子树的根目录名和文件名的组合作为哈希参数进行哈希运算,元数据服务器根据其所得... 在对已有对象存储元数据管理策略进行研究的基础上,提出一种基于对象存储的新型元数据管理策略。该策略将命名空间的目录子树分割为等粒度的中子树,将中子树的根目录名和文件名的组合作为哈希参数进行哈希运算,元数据服务器根据其所得哈希值确定存储路径。实验结果表明,该策略在处理元数据重命名操作和修改文件名时,可以避免大量元数据迁移及网络开销问题。 展开更多

关键词 元数据 对象存储 元数据管理 元数据服务器 负载均衡 热点

下载PDF 职称材料

支持连续数据保护的云备份系统架构设计 被引量：7

4

作者 王欢 李战怀 张晓 《计算机工程与应用》 CSCD 2012年第1期90-93,共4页

为了解决目前云备份系统恢复目标时间点不连续以及恢复粒度太粗的问题,将连续数据保护技术应用到云备份系统中,提出了一种支持连续数据保护的云备份系统。本系统能够提供秒级的连续恢复时间点,且数据块级别的备份层次能够屏蔽异构平台,... 为了解决目前云备份系统恢复目标时间点不连续以及恢复粒度太粗的问题,将连续数据保护技术应用到云备份系统中,提出了一种支持连续数据保护的云备份系统。本系统能够提供秒级的连续恢复时间点,且数据块级别的备份层次能够屏蔽异构平台,具有更广泛的应用前景。系统以私有云为架构基础,部署在防火墙内部,对数据安全有很高的保障。 展开更多

关键词 连续数据保护 云备份 虚拟化 元数据服务器 重复数据删除 日志卷

下载PDF 职称材料

存储虚拟化系统的元数据副本一致性管理模型 被引量：4

5

作者 贾永洁 金海 +2 位作者 易川江 韩宗芬 吴松 《计算机工程与科学》 CSCD 2004年第9期86-88,共3页

本文提出一种简洁实用的元数据副本一致性管理新模型MRCC ,该模型引入调度器对元数据服务器进行集中管理 ,不仅可以使系统达到更好的扩展性和可用性 ,而且可以灵活地实现对元数据副本的一致性控制 ,更好地发挥元数据副本容错和负载均衡... 本文提出一种简洁实用的元数据副本一致性管理新模型MRCC ,该模型引入调度器对元数据服务器进行集中管理 ,不仅可以使系统达到更好的扩展性和可用性 ,而且可以灵活地实现对元数据副本的一致性控制 ,更好地发挥元数据副本容错和负载均衡的作用。 展开更多

关键词 存储虚拟化 MRCC 调度器 元数据服务器 元数据副本

下载PDF 职称材料

基于Web服务的元数据服务体系研究 被引量：5

6

作者 于志敏 谢丽聪 韩晓芸 《微计算机信息》 北大核心 2008年第12期22-23,28,共3页

传统的元数据服务技术方案不能满足Internet发展的需要,应用目前主流的Web服务技术,采用XML作为元数据交换格式;使用XML Schema作为元数据验证格式;采用SOAP协议数据传输协议;服务器端采用Tomcat作为Servlet/Jsp容器,AXIS作为Web Servi... 传统的元数据服务技术方案不能满足Internet发展的需要,应用目前主流的Web服务技术,采用XML作为元数据交换格式;使用XML Schema作为元数据验证格式;采用SOAP协议数据传输协议;服务器端采用Tomcat作为Servlet/Jsp容器,AXIS作为Web Services容器,整合集成多源异构的信息资源,实现数据共享。 展开更多

关键词 元数据 WEB服务 信息共享 元数据服务器

下载PDF 职称材料

高可靠性元数据服务器研究 被引量：6

7

作者 刘群 冯丹 王芳 《计算机工程》 CAS CSCD 北大核心 2008年第17期88-90,共3页

基于对象存储的核心是将存储空间管理从存储应用中分离,其中元数据服务器(MDS)负责逻辑视图管理和提供全局命名空间。该文针对MDS的引路导航性能,提出一种主从备三重链式结构,在不增加硬件成本的前提下,能提供无间断的MDS服务,确保了系... 基于对象存储的核心是将存储空间管理从存储应用中分离,其中元数据服务器(MDS)负责逻辑视图管理和提供全局命名空间。该文针对MDS的引路导航性能,提出一种主从备三重链式结构,在不增加硬件成本的前提下,能提供无间断的MDS服务,确保了系统的高可靠性。 展开更多

关键词 元数据服务器 可扩展对象的海量存储系统 高可靠性 主从备链式结构

下载PDF 职称材料

集群多媒体存储系统的两级元数据管理 被引量：4

8

作者 万继光 詹玲 《小型微型计算机系统》 CSCD 北大核心 2009年第4期752-756,共5页

随着网络上多媒体数据的爆炸性增长,对海量可扩展的存储系统的需求也快速增长.CMSS(Cluster Multimedia Storage System)项目采用分布式存储系统结构:一种自治的高性能的基于PC的存储集群系统.CMSS采用两级的元数据服务器结构,通过分离... 随着网络上多媒体数据的爆炸性增长,对海量可扩展的存储系统的需求也快速增长.CMSS(Cluster Multimedia Storage System)项目采用分布式存储系统结构:一种自治的高性能的基于PC的存储集群系统.CMSS采用两级的元数据服务器结构,通过分离存储数据的逻辑视图与物理视图,全局逻辑视图由专用的全局元数据服务器来管理,局部逻辑视图和物理视图由各个存储服务器上的本地元数据服务器来管理.在详细介绍了CMSS系统两级元数据管理方案的同时,进行了相应的试验测试和性能分析. 展开更多

关键词 多媒体 集群 存储系统 元数据服务器

下载PDF 职称材料

基于可变长分块的分布式文件系统设计与实现 被引量：4

9

作者 许艳艳 雷迎春 龚奕利 《计算机工程》 CAS CSCD 北大核心 2016年第5期80-84,101,共6页

分布式文件系统受传统磁盘文件系统影响，大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写，开销大且性能差，但典型的用户约有25％的文件操作是随机写。针对上述现状，提出一种基于内容的可变长文件分... 分布式文件系统受传统磁盘文件系统影响，大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写，开销大且性能差，但典型的用户约有25％的文件操作是随机写。针对上述现状，提出一种基于内容的可变长文件分块方法，使用拉宾指纹算法对文件进行分块，并根据文件的内容标识文件块。为更准确地指定写类型，提高写性能，给出与POSIX语义兼容的写接口。通过修改Ceph实现一种新的分布式文件系统VarFS，提供文件的可变长分块并支持新的写接口。实验结果表明，由于减少网络数据传输量，VarFS在随机写延迟和带宽消耗量上比Ceph减少了1个～2个数量级。 展开更多

关键词 固定长分块 可变长分块 分布式文件系统 随机写 元数据服务器

下载PDF 职称材料

一种基于混合索引的HDFS小文件存储策略 被引量：4

10

作者 熊安萍 黄容 邹洋 《重庆邮电大学学报（自然科学版）》 CSCD 北大核心 2015年第1期97-102,共6页

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用。针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于... Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用。针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标。实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载。实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销。 展开更多

关键词 Hadoop分布式文件系统(HDFS) 小文件 元数据服务器 缓存 混合索引

原文传递

一种面向海量存储系统的高效元数据集群管理方案 被引量：3

11

作者 肖中正 陈宁江 +1 位作者 魏峻 张文博 《计算机研究与发展》 EI CSCD 北大核心 2015年第4期929-942,共14页

高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性Hash结构的元数据服务器(metadata... 高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性Hash结构的元数据服务器(metadata server,MDS)集群化方案——CH-MMS(consistent Hash based metadata management schema).CH-MMS在一致性MDS集群上引入虚拟MDS(Virtual MDS),有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量.阐述了CH-MMS的体系结构,介绍了核心数据结构layout-table、虚拟MDS结构、延迟更新机制及相关算法,并对CH-MMS扩展性、容错性作了定性分析.最后通过原型系统和模拟实验说明,CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求. 展开更多

关键词 元数据管理 一致性Hash 大数据存储 元数据服务器 分布式文件系统

下载PDF 职称材料

一种集群多媒体存储系统的研究与设计 被引量：2

12

作者 万继光 谢长生 《计算机研究与发展》 EI CSCD 北大核心 2006年第8期1311-1316,共6页

随着网络上多媒体数据的爆炸性增长和集群技术的快速发展,设计并实现了一个基于PC集群的高性能集群多媒体存储系统(clustermultimediastoragesystem,CMSS)·CMSS系统采用高自治、自维护的集群策略,提高了系统的并行性和可扩展性;采... 随着网络上多媒体数据的爆炸性增长和集群技术的快速发展,设计并实现了一个基于PC集群的高性能集群多媒体存储系统(clustermultimediastoragesystem,CMSS)·CMSS系统采用高自治、自维护的集群策略,提高了系统的并行性和可扩展性;采用逻辑元数据管理技术,即实现了单一名字空间,又避免了单点失效;采用服务器数据备份技术,即提高了系统的数据安全性,也解决了服务器之间的负载平衡·在详细介绍了CMSS系统设计方案的同时,进行了相应的实验测试和性能分析· 展开更多

关键词 多媒体 集群 存储系统 元数据服务器

下载PDF 职称材料

单一系统映象机群文件系统可扩展元数据服务器的设计与实现 被引量：1

13

作者 史小冬 祝明发 叶庆华 《微电子学与计算机》 CSCD 北大核心 2002年第2期20-23,39,共5页

文章介绍了曙光3000超级服务器机群文件系统COSMOS中元数据服务器的设计与实现。针对机群文件系统对单一系统映象和可扩展性的要求,分析了机群文件系统元数据服务器基本操作的特点,找出了多个不同的元数据操作进行并行处理的可行办法,... 文章介绍了曙光3000超级服务器机群文件系统COSMOS中元数据服务器的设计与实现。针对机群文件系统对单一系统映象和可扩展性的要求,分析了机群文件系统元数据服务器基本操作的特点,找出了多个不同的元数据操作进行并行处理的可行办法,并给出了实现方案及系统性能的测试模型和测试结果。 展开更多

关键词 机群文件系统 元数据服务器 可扩展性 单一系统映象 设计

下载PDF 职称材料

双机高可用系统设计与性能分析 被引量：3

14

作者 韩德志 傅丰 《计算机科学》 CSCD 北大核心 2009年第1期55-59,共5页

针对融合iSCSI,NAS,SAN的海量网络存储系统的特点,设计了一种双机高可用元数据服务器系统,该系统不仅减少了元数据服务器瓶颈,而且可充分保证存储网络系统元数据的高可用性。通过建立连续时间马尔可夫链性能分析模型,分析结果显示双机... 针对融合iSCSI,NAS,SAN的海量网络存储系统的特点,设计了一种双机高可用元数据服务器系统,该系统不仅减少了元数据服务器瓶颈,而且可充分保证存储网络系统元数据的高可用性。通过建立连续时间马尔可夫链性能分析模型,分析结果显示双机高可用系统的可用度远优于单机单路径系统。 展开更多

关键词 双机高可用系统 系统设计 性能分析 存储网络 元数据服务器 马尔可夫模型

下载PDF 职称材料

LCFS中元数据服务器的可靠性分析模型 被引量：3

15

作者 王召福 章文嵩 刘仲 《计算机工程与科学》 CSCD 2005年第5期54-55,58,共3页

可靠性问题是研究大规模集群存储系统的一个重要方面,元数据服务器是大规模集群存储的中心。本文针对基于镜像复制和共享存储的服务器实现方案,采用马尔可夫补偿模型研究元数据服务器的状态迁移概率,分析了元数据服务器集群的可靠性以... 可靠性问题是研究大规模集群存储系统的一个重要方面,元数据服务器是大规模集群存储的中心。本文针对基于镜像复制和共享存储的服务器实现方案,采用马尔可夫补偿模型研究元数据服务器的状态迁移概率,分析了元数据服务器集群的可靠性以及数据一致性对可靠性的影响,对实现大规模集群文件系统中的元数据服务器有重要的指导意义。 展开更多

关键词 存储系统 可靠性分析模型 元数据服务器 LCFS 马尔可夫模型

下载PDF 职称材料

PVFS元数据服务器的并行化设计与实现 被引量：1

16

作者 罗秋明 欧阳凯 《计算机工程》 EI CAS CSCD 北大核心 2006年第12期50-51,54,共3页

PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I/O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的... PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I/O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。 展开更多

关键词 并行文件系统 PVFS 元数据服务器 并行化 可扩展

下载PDF 职称材料

蓝鲸分布式文件系统的客户端元数据缓存模型 被引量：1

17

作者 黄华 张建刚 许鲁 《计算机科学》 CSCD 北大核心 2005年第9期243-245,248,共4页

在蓝鲸分布式文件系统中,客户端的所有无数据操作都是通过远程过程调用由元数据服务器完成,所有数据读写都是直接与存储服务器交换完成的。由于通信延迟,在客户端进行频繁数据读写时,元数据信息交换影响了整个系统的性能。我们设计了一... 在蓝鲸分布式文件系统中,客户端的所有无数据操作都是通过远程过程调用由元数据服务器完成,所有数据读写都是直接与存储服务器交换完成的。由于通信延迟,在客户端进行频繁数据读写时,元数据信息交换影响了整个系统的性能。我们设计了一种在客户端尽量缓存文件元数据信息的模型,有效地减少了元数据通信,缩短了整个读写过程的延迟,极大地提高了蓝鲸分布式文件系统的性能。 展开更多

关键词 蓝鲸分布式文件系统 客户端 数据缓存模型 元数据服务器 存储服务器 数据分离

下载PDF 职称材料

浅谈大数据关键技术 被引量：2

18

作者 王若明 《物联网技术》 2019年第6期117-118,共2页

随着大数据时代的到来,如何存储管理和分析这些大数据是目前研究的热点。文中先分析了关于大数据的两种重要技术:容错和可视化分析。容错技术有复制和纠删码两种,可视化分析技术有多维数据可视化、文本可视化、网络可视化和时空数据可... 随着大数据时代的到来,如何存储管理和分析这些大数据是目前研究的热点。文中先分析了关于大数据的两种重要技术:容错和可视化分析。容错技术有复制和纠删码两种,可视化分析技术有多维数据可视化、文本可视化、网络可视化和时空数据可视化。最后展望,随着工业界和学界更深入的研究,将来会有更完美的解决方案。 展开更多

关键词 大数据 容错技术 可视化分析 纠删码 云计算技术 元数据服务器

下载PDF 职称材料

两级存储虚拟化模型 被引量：2

19

作者 廖莹寒 朱敏 《计算机应用与软件》 CSCD 北大核心 2012年第4期180-182,共3页

通过分析比较带内和带外存储虚拟化的优缺点,提出融合两种方式的新的存储虚拟化模型。该模型分别在块级和文件系统级两层都实现存储虚拟化。

关键词 网络存储虚拟化智 能交换机 元数据服务器 带内虚拟化 带外虚拟化

下载PDF 职称材料

混合式的元数据管理系统研究 被引量：1

20

作者 杜楠 彭宏 《计算机工程与设计》 CSCD 北大核心 2009年第15期3624-3626,3630,共4页

提出了一种基于混合式技术的元数据管理系统。探讨了两种常用的元数据管理方式:集中式元数据管理和分布式元数据管理。详细分析了基于这两种元数据管理方式的混合模型的结构,并对系统中对象存储的作用以及对元数据服务器的结构和功能进... 提出了一种基于混合式技术的元数据管理系统。探讨了两种常用的元数据管理方式:集中式元数据管理和分布式元数据管理。详细分析了基于这两种元数据管理方式的混合模型的结构,并对系统中对象存储的作用以及对元数据服务器的结构和功能进行了详细描述。最后,对元数据管理中重要的元数据标准进行了分析,运用该系统使得元数据的管理,数据处理、分析和过程的综合再现更加高效,方便和安全。 展开更多

关键词 混合式 元数据管理系统 元数据服务器 对象存储设备 元数据标准

下载PDF 职称材料