期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到10篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于支持向量机的HDFS副本放置改进策略 被引量：8
1
作者 罗军 陈仕强 《计算机工程》 CAS CSCD 北大核心 2015年第11期114-119,共6页
为实现超大规模数据的存储并提高容错性,Hadoop分布式文件系统(HDFS)采用一种机架感知的多副本放置策略。但在放置过程中没有综合考虑各节点服务器的差异性,导致集群出现负载失衡。由于放置时采用随机方式,造成节点之间的网络距离过长,... 为实现超大规模数据的存储并提高容错性,Hadoop分布式文件系统(HDFS)采用一种机架感知的多副本放置策略。但在放置过程中没有综合考虑各节点服务器的差异性,导致集群出现负载失衡。由于放置时采用随机方式,造成节点之间的网络距离过长,使得传输数据会消耗大量时间。针对以上问题,提出一种基于SVM的副本放置策略。通过综合考虑节点负载情况、节点硬件性能、节点网络距离为副本找到最佳的放置节点。实验结果表明,与HDFS原有的副本放置策略相比,该策略能更有效地实现负载均衡。 展开更多
关键词 支持向量机 云存储 副本放置策略 分布式文件系统 负载均衡 机架感知
下载PDF
日志结构云存储中缓存的设计与实现 被引量：6
2
作者 陈莉君 王森 康华 《西安邮电大学学报》 2013年第5期76-80,共5页
日志结构分布式文件系统(HDFS-based Log-structured File System,HLFS)是基于Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)构建的云存储平台,为了提高其数据读写性能,结合HLFS客户端与后台存储集群相分离的特点,利用最... 日志结构分布式文件系统(HDFS-based Log-structured File System,HLFS)是基于Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)构建的云存储平台,为了提高其数据读写性能,结合HLFS客户端与后台存储集群相分离的特点,利用最近最久未使用算法作为缓存策略,在HLFS客户端内存中设计并实现HLFS缓存,并采用固定时间间隔刷新缓存的策略来保证数据一致性。在集群系统上对所设计的缓存进行了数据读写测试,结果表明,该设计能够有效地降低HLFS与后台集群的交互频率,减少用户感知的数据读写时间。 展开更多
关键词 分布式文件系统(dfs) 缓存技术 日志结构文件系统(LFS)
下载PDF
基于热度分析的动态副本创建算法 被引量：5
3
作者 饶磊 杨凡德 +1 位作者 李新明 刘东 《计算机应用》 CSCD 北大核心 2014年第A02期130-134,共5页
在分布式文件系统(DFS)中,副本的数量通常预先配置,不能适应文件访问需求的动态变化。针对该问题,提出了基于热度分析的动态副本创建算法(DRCA),优化副本的管理方式。动态副本创建算法通过分析文件在给定时间内的访问频率,推算文件的访... 在分布式文件系统(DFS)中,副本的数量通常预先配置,不能适应文件访问需求的动态变化。针对该问题,提出了基于热度分析的动态副本创建算法(DRCA),优化副本的管理方式。动态副本创建算法通过分析文件在给定时间内的访问频率,推算文件的访问热度,并综合考虑统计周期、文件大小、工作环境等多种因素,按需动态地调整文件副本的数量,以减少文件访问的平均响应时间,提高数据服务性能。基于Hadoop的分布式文件系统(HDFS)开发了DRCA模块,并进行了性能测试,结果表明DRCA提供数据服务的性能优于HDFS自带的副本创建算法。 展开更多
关键词 分布式文件系统 副本 创建 热度 访问频率 Hdfs
下载PDF
数字化教学资源存储方案设计 被引量：3
4
作者 张俊飞 吴小玲 《实验室研究与探索》 CAS 北大核心 2019年第4期115-118,226,共5页
教学信息化的发展,预示着数字化教学资源大数据时代的到来。面对海量数字化资源,利用分布式处理技术从资源的大小出发,设计了针对大文件资源的HDFS存储方案和小文件资源的DFS存储方案。详细分析了HDFS和DFS的工作原理,介绍了针对大文件... 教学信息化的发展,预示着数字化教学资源大数据时代的到来。面对海量数字化资源,利用分布式处理技术从资源的大小出发,设计了针对大文件资源的HDFS存储方案和小文件资源的DFS存储方案。详细分析了HDFS和DFS的工作原理,介绍了针对大文件和小文件资源的存储方案,并在教学实践中分别分析了其文件传输速率,证实了存储方案设计的可用性。 展开更多
关键词 数字化教学资源 Handoop分布式文件系统 分布式文件系统
下载PDF
基于可变长分块的分布式文件系统设计与实现 被引量：4
5
作者 许艳艳 雷迎春 龚奕利 《计算机工程》 CAS CSCD 北大核心 2016年第5期80-84,101,共6页
分布式文件系统受传统磁盘文件系统影响，大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写，开销大且性能差，但典型的用户约有25％的文件操作是随机写。针对上述现状，提出一种基于内容的可变长文件分... 分布式文件系统受传统磁盘文件系统影响，大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写，开销大且性能差，但典型的用户约有25％的文件操作是随机写。针对上述现状，提出一种基于内容的可变长文件分块方法，使用拉宾指纹算法对文件进行分块，并根据文件的内容标识文件块。为更准确地指定写类型，提高写性能，给出与POSIX语义兼容的写接口。通过修改Ceph实现一种新的分布式文件系统VarFS，提供文件的可变长分块并支持新的写接口。实验结果表明，由于减少网络数据传输量，VarFS在随机写延迟和带宽消耗量上比Ceph减少了1个～2个数量级。 展开更多
关键词 固定长分块 可变长分块 分布式文件系统 随机写 元数据服务器
下载PDF
基于分级安全局域网的分布式文件系统模型 被引量：3
6
作者 张云亮 冯小平 戴一奇 《清华大学学报（自然科学版）》 EI CAS CSCD 北大核心 2011年第7期937-941,共5页
分布式文件系统是云计算研究领域内一个重要的分支,尽管分布式系统的分级安全功能的重要性很早就被意识到,但是在安全网络下进行分布式文件系统工作却极少。该文提出并设计基于分级安全局域网的分布式文件系统。采用主从式的结构,通过... 分布式文件系统是云计算研究领域内一个重要的分支,尽管分布式系统的分级安全功能的重要性很早就被意识到,但是在安全网络下进行分布式文件系统工作却极少。该文提出并设计基于分级安全局域网的分布式文件系统。采用主从式的结构,通过在客户端采取驱动式编程,用Reed-Solomen算法进行数据拆分存储,实现安全分布式文件系统的基本功能,包括数据传输、存储、数据加密、数据拆分、访问控制等。该系统性能测试实验结果满足多级安全局域网的性能要求。 展开更多
关键词 分级安全局域网 分布式文件系统 数据拆分 数据加密
原文传递
基于集群系统的空间数据并行处理策略研究 被引量：1
7
作者 刘旭辉 韩冀中 +1 位作者 贺劲 韩承德 《高技术通讯》 EI CAS CSCD 北大核心 2009年第10期991-997,共7页
为了解决单节点的WebGIS系统存储能力和计算能力受限的问题,提出了一种利用分布式文件系统(DFS)和MapReduce分布式计算框架在集群环境中并行处理空间数据的方法。还特别针对分布式文件系统,结合WebGIS的应用模式,提出了小文件优化策略... 为了解决单节点的WebGIS系统存储能力和计算能力受限的问题,提出了一种利用分布式文件系统(DFS)和MapReduce分布式计算框架在集群环境中并行处理空间数据的方法。还特别针对分布式文件系统,结合WebGIS的应用模式,提出了小文件优化策略。该策略的核心思想是通过将小文件合并为大文件来有效降低文件的数目。试验结果表明,在使用了小文件优化策略后,分布式文件系统中的节点平均内存占用率从55.78%降至 18.36%,文件的存储和读取性能分别提高了63.3倍和2.0倍。其次,基于经过优化后的分布式文件系统和MapReduce计算框架,设计并且实现了HDWebGIS原型系统,试验结果表明,使用了小文件优化策略后,HDWebGIS系统性能比优化前提升了78.11%。 展开更多
关键词 网络地理信息系统(WebGIS) 集群 分布式文件系统(dfs) MAPREDUCE 小文 件优化
下载PDF
基于概率的大数据查询系统——Probery 被引量：2
8
作者 伍晋博 宋杰 +1 位作者 张莉 鲍玉斌 《计算机应用》 CSCD 北大核心 2016年第1期8-12,共5页
针对大数据环境下完整性查询时间代价消耗过高的问题,提出了一种采用近似完整性查询方法的系统——Probery。Probery所采用的近似完整性查询方法不同于传统的近似查询,其近似性主要体现为数据查全的可能性,是一种新型的数据查询方法。Pr... 针对大数据环境下完整性查询时间代价消耗过高的问题,提出了一种采用近似完整性查询方法的系统——Probery。Probery所采用的近似完整性查询方法不同于传统的近似查询,其近似性主要体现为数据查全的可能性,是一种新型的数据查询方法。Probery首先将存入系统的数据划分为多个数据分段;然后,根据概率放置模型将各个数据分段的数据存储在分布式文件系统中;最后,对于给定的查询条件,Probery采用一种启发式查询方法进行概率查询。通过与其他主流的非关系型数据管理系统的查询性能进行比较,对Probery进行验证,Probery在损失8%查询完整性的情形下,查询时间较HBase相比节约了51%,较Cassandra相比节约了23%,较Mongo DB相比节约了12%,较Hive相比节约了3%。实验结果表明,Probery可以适当地损失查询完整性来提高数据的查询性能,具有较好的通用性、适应性和可扩展性。 展开更多
关键词 大数据 概率查询 查全概率 分布式文件系统 MAPREDUCE
下载PDF
基于软件定义网络的分布式文件系统设计 被引量：2
9
作者 权恒星 魏学才 王漫 《计算机工程》 CAS CSCD 北大核心 2016年第5期47-53,共7页
传统的分布式文件系统未考虑底层网络的情况,因此其读写性能以及在异构网络环境中的文件修复性能都有较大的提升空间。利用软件定义网络(SDN)提供的底层网络的动态数据资源,计算出数据传输的实时最佳路径。对分布式文件系统中的大数据... 传统的分布式文件系统未考虑底层网络的情况,因此其读写性能以及在异构网络环境中的文件修复性能都有较大的提升空间。利用软件定义网络(SDN)提供的底层网络的动态数据资源,计算出数据传输的实时最佳路径。对分布式文件系统中的大数据流进行流量导引,从而提高分布式文件系统的性能。在仿真的SDN环境中设计并实现一个分布式文件系统原型,对读文件、写文件和文件修复3种基本操作进行对比测试,结果表明,在SDN网络环境中的分布式文件系统,相对于传统网络环境,在读写和修复方面都有不同程度的性能提升。尤其是在数据流量非常大、网络流量异构明显的情况下,提升效果更为明显。 展开更多
关键词 分布式文件系统 软件定义网络 数据中心网络 再生码 异构网络
下载PDF
PetroV分布式文件系统的设计与实现 被引量：3
10
作者 盛秀杰 金之钧 +1 位作者 彭成 景妍 《石油地球物理勘探》 EI CSCD 北大核心 2019年第3期641-649,489,共10页
为了实现可存储ZB级文件数量、单一文件TB级大小的行业基础数据的需求,以及利于实践'端到端'的、驱动油气重大发现的'地质智能'深度学习解决方案,本文设计、开发并验证了一种充分考虑油气勘探行业基础数据特点的分布式... 为了实现可存储ZB级文件数量、单一文件TB级大小的行业基础数据的需求,以及利于实践'端到端'的、驱动油气重大发现的'地质智能'深度学习解决方案,本文设计、开发并验证了一种充分考虑油气勘探行业基础数据特点的分布式文件系统(PetroV Distributed File System,PetroV DFS)。结合全球地理网格剖分编码和地质信息编码,PetroV DFS建立了基于空间位置索引的分布式文件命名、分配与管理机制,可高效管理ZB级数量的文件并快速定位;基于ST-Based KIDA元数据建模下的本地空间数据库集成机制和空间索引、八叉树切分、空间键值对等三种分布式数据子块存储机制,可快速读写一个TB量级基础数据。PetroV DFS具有'地理位置相近、存储位置相近'的特点——同一地理区域的基础数据存储于同一数据中心的同一批机柜,在提升本地基础数据的访问和计算速度的基础上,能'就近'高效利用不同类型基础数据。以440GB叠前地震数据文件的分布式存储、全时窗频率振幅属性分布式计算为例,利用C++泛化编程技术实现的PetroV DFS可有效部署于当前普通计算机中,为后续深入实践不同类型深度学习解决方案提供新的、可行的大数据存储模式。 展开更多
关键词 地质智能 地理网格剖分 八叉树子块 空间键值对 PetroV dfs
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部