期刊文献+
共找到385篇文章
< 1 2 20 >
每页显示 20 50 100
基于分布式文件系统HDFS的节能算法 被引量:58
1
作者 廖彬 于炯 +1 位作者 张陶 杨兴耀 《计算机学报》 EI CSCD 北大核心 2013年第5期1047-1064,共18页
与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储... 与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵,为后续研究建立了基础模型.结合数据块状态矩阵与数据块可用性之间的关系设计了DataNode节点休眠验证算法.概率分析了由于机架感知的存储策略带来数据块分布的随机性,使得在不改变数据块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的.进而设计了数据块存储结构配置节能算法与基于对称数据块存储策略下的节能算法,分别从改变数据块的存储结构与存储策略两方面对HDFS进行节能改进.实验结果表明:两种节能算法都能解决HDFS集群的能耗低利用率问题,并且集群负载越低节能效率越高. 展开更多
关键词 云计算 分布式文件系统 节能计算 副本策略 绿色计算
下载PDF
云计算环境下的数据存储 被引量:55
2
作者 王德政 申山宏 周宁宁 《计算机技术与发展》 2011年第4期81-84,89,共5页
近年来,越来越多的人和企业开始关注云计算这种新的计算模式,高性能的云存储是实现云计算服务的基本条件。介绍了云计算与云存储,讨论了云计算环境下的数据存储体系结构,对其中的分布式文件系统的设计进行了详细的探讨,为企业创建自己... 近年来,越来越多的人和企业开始关注云计算这种新的计算模式,高性能的云存储是实现云计算服务的基本条件。介绍了云计算与云存储,讨论了云计算环境下的数据存储体系结构,对其中的分布式文件系统的设计进行了详细的探讨,为企业创建自己的基于云计算的数据中心提供了一个具有可用性、可扩展性、可管理性、安全性的设计方案。最后对几种典型的商业化云存储平台进行了简单的分析并讨论了云计算的发展趋势,同时针对企业在云计算的发展中所处的角色不同,给出了不同的发展策略。 展开更多
关键词 云计算 云存储 分布式文件系统
下载PDF
大数据关键技术 被引量:55
3
作者 王秀磊 刘鹏 《中兴通讯技术》 2013年第4期17-21,共5页
结合大数据系统的一般结构,介绍和对比了当前大数据领域在文件存储、数据处理和数据库领域的关键技术。通过各种技术的对比,得到了一些分析结果。分析结果表明大数据系统的解决方案必将落地于现有的云计算平台;云计算平台的分布式文件... 结合大数据系统的一般结构,介绍和对比了当前大数据领域在文件存储、数据处理和数据库领域的关键技术。通过各种技术的对比,得到了一些分析结果。分析结果表明大数据系统的解决方案必将落地于现有的云计算平台;云计算平台的分布式文件系统、分布式运算模式和分布式数据库管理技术是解决大数据问题的基础;一些大的依靠数据盈利的大公司必然会是大数据应用的主体。 展开更多
关键词 大数据 分布式文件系统 分布式数据库 MapReduce技术
下载PDF
基于分布式文件系统的海量电能质量监测数据管理方案 被引量:43
4
作者 张逸 杨洪耕 叶茂清 《电力系统自动化》 EI CSCD 北大核心 2014年第2期102-108,共7页
目前,电能质量监测数据已经呈现海量化的趋势,如果仅用关系数据库存储,将带来存储占用空间大、存取速度慢、可扩展性差等问题。文中通过分析现有电能质量监测系统中的数据存取特征和硬件环境,提出了一种基于分布式文件系统的海量电能质... 目前,电能质量监测数据已经呈现海量化的趋势,如果仅用关系数据库存储,将带来存储占用空间大、存取速度慢、可扩展性差等问题。文中通过分析现有电能质量监测系统中的数据存取特征和硬件环境,提出了一种基于分布式文件系统的海量电能质量监测数据管理方案。此方案将不同电能质量指标的历史监测数据分别压缩后存储在文件中;利用现有监测子站以及相关系统的分布式异构服务器作为文件服务器以存储数据文件;利用监测主站服务器作为主服务器,保存数据特征值和文件索引,并对文件资源进行统一管理。此方案充分利用了各服务器的存储空间和网络带宽,节约了存储空间,提高了存取效率,具有较高的可靠性和可扩展性。以存储100个监测点180 d数据为例,此方案存储空间占用仅为传统关系数据库方案的2.28%;以检索某个监测点180 d的5次谐波三相电压幅值数据为例,此方案加速比约为16.49倍。在四川电能质量一体化数据平台中的成功应用证明了此方案的可靠性和实用性。 展开更多
关键词 电能质量 海量数据 分布式文件系统 文件分块机制 容错机制
下载PDF
对等网络Chord分布式查找服务的研究 被引量:18
5
作者 董芳 费新元 肖敏 《计算机应用》 CSCD 北大核心 2003年第11期25-28,共4页
在大规模Internet网络的应用中,查找服务是对等网络系统所面临的核心问题。Chord提供了一种高效和稳定的查找服务,Chord的可扩展性特点适用于大规模对等网络系统。在节点退出或加入时,Chord提供了高效稳定的机制。基于Chord的文件共享系... 在大规模Internet网络的应用中,查找服务是对等网络系统所面临的核心问题。Chord提供了一种高效和稳定的查找服务,Chord的可扩展性特点适用于大规模对等网络系统。在节点退出或加入时,Chord提供了高效稳定的机制。基于Chord的文件共享系统(SFS)是一个用于对等网络的只读存贮系统,它可以提供高效率的、鲁棒的和负载平衡的文件存取功能。SFS采用了完全分布式体系结构(没有服务器),很容易地扩展到大规模网络。SFS核心分为二层:DHT层和Chord层,使用Chord算法来定位查找服务。 展开更多
关键词 对等网络 CHORD 分布式散列表 查找服务 文件共享系统
下载PDF
一种保护云存储平台上用户数据私密性的方法 被引量:40
6
作者 侯清铧 武永卫 +1 位作者 郑纬民 杨广文 《计算机研究与发展》 EI CSCD 北大核心 2011年第7期1146-1154,共9页
近年来,云存储被研究者和IT厂商广泛关注,许多应用程序都用云存储来存储数据.但是用户和厂商都对于云存储的安全性和私密性问题表示忧虑.云存储安全的核心是分布式文件系统的安全性和私密性.基于SSL安全连接和Daoli安全虚拟监控系统可... 近年来,云存储被研究者和IT厂商广泛关注,许多应用程序都用云存储来存储数据.但是用户和厂商都对于云存储的安全性和私密性问题表示忧虑.云存储安全的核心是分布式文件系统的安全性和私密性.基于SSL安全连接和Daoli安全虚拟监控系统可以充分保护分布式文件系统中用户数据的安全性和私密性.安全虚拟监督系统可以阻止传统攻击及来自云管理员的攻击.针对用户的不同需求和数据存储系统的特点,有2种解决方案,分别针对分布式文件系统中用户文件的每一块进行保护,保障用户文件每一块的私密性及对整个用户文件进行保护,保证用户文件整体私密性.对于用户数据的私密性而言,SSL安全连接和虚拟监控系统引入的性能损失是可以被接受的. 展开更多
关键词 云存储 分布式文件系统 数据私密性 虚拟机 安全虚拟监督系统
下载PDF
大容量、高性能、高扩展能力的蓝鲸分布式文件系统 被引量:28
7
作者 杨德志 黄华 +1 位作者 张建刚 许鲁 《计算机研究与发展》 EI CSCD 北大核心 2005年第6期1028-1033,共6页
应用需求和计算机技术的发展使网络化存储系统成为网络服务器系统中IO子系统研究的热点.作为网络存储系统关键部件,分布式文件系统的研究具有非常重要的意义.蓝鲸分布式文件系统(BWFS)是国家高性能计算机工程技术研究中心基于对国内外... 应用需求和计算机技术的发展使网络化存储系统成为网络服务器系统中IO子系统研究的热点.作为网络存储系统关键部件,分布式文件系统的研究具有非常重要的意义.蓝鲸分布式文件系统(BWFS)是国家高性能计算机工程技术研究中心基于对国内外现有研究成果的分析和研究,自主设计实现的分布式文件系统.它着重于大容量、高IO吞吐率和高扩展能力等方面特性.BWFS已经用到BW1K网络存储系统中,并通过BW1K的初步评测数据验证了这些特性. 展开更多
关键词 网络存储系统 分布式文件系统 大容量 高吞吐率 高可扩展能力
下载PDF
大数据存储架构和算法研究综述 被引量:37
8
作者 杨俊杰 廖卓凡 冯超超 《计算机应用》 CSCD 北大核心 2016年第9期2465-2471,共7页
随着大数据计算需求的增长,集群的处理速度需要得到快速的提升,然而目前大数据处理框架的处理性能已逐渐满足不了这种快速增长的需求。由于集群的存储架构是分布式存储,因此数据的存放在大数据处理过程中成为影响集群的处理性能的因素... 随着大数据计算需求的增长,集群的处理速度需要得到快速的提升,然而目前大数据处理框架的处理性能已逐渐满足不了这种快速增长的需求。由于集群的存储架构是分布式存储,因此数据的存放在大数据处理过程中成为影响集群的处理性能的因素之一。首先,对当今的分布式文件存储系统的结构进行了介绍;接着,根据不同的优化目标,例如减少网络负载、负载均衡、降低能耗和高容错性等,对近年国内外大数据存储算法的研究进行了总结,分析和对比了已有算法的优点以及存在的问题;最后,对大数据存储架构和优化算法设计的挑战和未来研究方向作了展望。 展开更多
关键词 大数据 数据部署 分布式文件系统 MAPREDUCE HADOOP
下载PDF
应用分布式存储技术优化省级CIMISS数据服务能力 被引量:37
9
作者 宋智 徐晓莉 +2 位作者 张常亮 向筱铭 杨雪 《气象科技》 2019年第3期433-438,共6页
随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现... 随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。 展开更多
关键词 CIMISS 分布式文件系统 共享文件系统 分布式数据库 关系数据库
下载PDF
HDFS存储和优化技术研究综述 被引量:36
10
作者 金国栋 卞昊穹 +1 位作者 陈跃国 杜小勇 《软件学报》 EI CSCD 北大核心 2020年第1期137-161,共25页
HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量... HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量的结构化和非结构化数据,支撑着复杂查询分析、交互式分析、详单查询、Key-Value读写和迭代计算等丰富的应用场景.HDFS的性能问题将影响其上所有大数据系统和应用,因此,对HDFS存储性能的优化至关重要.介绍了HDFS的原理和特性,对已有HDFS的存储及优化技术,从文件逻辑结构、硬件设备和应用负载这3个维度进行了归纳和总结.综述了近年来HDFS存储和优化相关研究.未来,随着HDFS上层应用的日益丰富和底层硬件平台的发展,基于异构平台的数据存储、面向应用负载的自适应存储优化以及结合机器学习的存储优化技术将成为未来研究的主要方向. 展开更多
关键词 HDFS 分布式文件系统 存储系统优化 数据分析
下载PDF
基于Hadoop架构的分布式计算和存储技术及其应用 被引量:27
11
作者 田秀霞 周耀君 +1 位作者 毕忠勤 彭源 《上海电力学院学报》 CAS 2011年第1期70-74,共5页
介绍了Hadoop架构的主要构成,通过一个实例详细阐述了Hadoop架构的MapReduce实现机制;开发了一个基于Hadoop架构职工工资统计应用实例,并根据该实例分析了其在单节点模式、伪分布模式和完全分布模式应用中的运行效率.
关键词 Hadoop架构 MapReduce机制 分布式文件系统
下载PDF
一种轻量级大数据分析系统的实现 被引量:28
12
作者 周小娟 《电子设计工程》 2016年第8期40-43,共4页
为了让更多的非计算机专业研究者能够简捷方便的使用大数据技术在各自所在领域进行数据分析和预测,本文研究并实现了一种轻量级的大数据分析系统,该系统通过抽象各种大数据技术的概念,屏蔽了大数据技术的复杂性,通过友好易用的用户交互... 为了让更多的非计算机专业研究者能够简捷方便的使用大数据技术在各自所在领域进行数据分析和预测,本文研究并实现了一种轻量级的大数据分析系统,该系统通过抽象各种大数据技术的概念,屏蔽了大数据技术的复杂性,通过友好易用的用户交互界面,使得各个行业的非计算机专业的研究人员能够快速掌握该系统,并进行各种数据分析和预测活动。 展开更多
关键词 大数据 轻量级 数据分析 预测 分布式文件系统 数据仓库
下载PDF
一种基于海量信息处理的云存储模型研究 被引量:23
13
作者 张桂刚 李超 +1 位作者 张勇 邢春晓 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期32-36,共5页
提出了一种云环境下海量数据组织与资源共享的存储总模型,该模型包括:结构化、半结构化及其非结构化数据与资源的对应存储方法;能兼顾海量大小数据文件处理的分布式文件系统THDFS;云数据库系统设计模型THCloudDB;云环境下强于MapReduce... 提出了一种云环境下海量数据组织与资源共享的存储总模型,该模型包括:结构化、半结构化及其非结构化数据与资源的对应存储方法;能兼顾海量大小数据文件处理的分布式文件系统THDFS;云数据库系统设计模型THCloudDB;云环境下强于MapReduce弱于SQL,以Hadoop++为基础的一种针对互联网海量数据文件处理且具有语义计算效能的计算模型THMapReduce;针对THDFS及其THCloudDB的具有语义效能的智能挖掘分析工具THBI;最后以"清华通"为案例分析了该模型平台的具体应用. 展开更多
关键词 云存储 海量信息处理 分布式文件系统 云数据库系统
下载PDF
分布式文件系统的动态负载均衡算法 被引量:21
14
作者 张聪萍 尹建伟 《小型微型计算机系统》 CSCD 北大核心 2011年第7期1424-1426,共3页
为了解决分布式文件系统的负载均衡问题,研究了多种负载均衡算法,分析各种算法的优缺点.综合了静态权重轮询算法和动态负载均衡算法两类算法的优点,提出一种自适应的综合动态负载均衡算法,它实现简单、降低了获取反馈信息的开销且不失... 为了解决分布式文件系统的负载均衡问题,研究了多种负载均衡算法,分析各种算法的优缺点.综合了静态权重轮询算法和动态负载均衡算法两类算法的优点,提出一种自适应的综合动态负载均衡算法,它实现简单、降低了获取反馈信息的开销且不失实时性.经过试验比较,该算法能有效地降低平均响应时间和提高吞吐量,负载的分配更为均衡. 展开更多
关键词 分布式文件系统 负载均衡 静态权重轮询 动态负载均衡
下载PDF
海量遥感影像数据存储技术研究 被引量:22
15
作者 刘伟 刘露 +1 位作者 陈荦 钟志农 《计算机工程》 CAS CSCD 北大核心 2009年第5期236-239,共4页
介绍现有海量遥感影像数据的存储管理方式及其存在的不足,研究基于分布式文件系统的海量遥感影像数据存储技术,通过研制的D-MaRISS系统,说明所采用的分布式文件系统的结构和影像数据的组织方式。实验表明,该技术能高效地实现对海量遥感... 介绍现有海量遥感影像数据的存储管理方式及其存在的不足,研究基于分布式文件系统的海量遥感影像数据存储技术,通过研制的D-MaRISS系统,说明所采用的分布式文件系统的结构和影像数据的组织方式。实验表明,该技术能高效地实现对海量遥感影像数据的存储管理。 展开更多
关键词 分布式文件系统 遥感影像数据 影像数据索引
下载PDF
基于Redis的海量小文件分布式存储方法研究 被引量:22
16
作者 刘高军 王帝澳 《计算机工程与科学》 CSCD 北大核心 2013年第10期58-64,共7页
小文件作为信息传输、存储的重要方式,使用相当广泛,用户对其可靠性和速度的要求也在不断提高。针对目前小文件存储效率较低的问题,首先结合分布式存储系统HDFS的大文件存储优势和Redis缓存技术,提出快速合并小文件的存储方案。把小文... 小文件作为信息传输、存储的重要方式,使用相当广泛,用户对其可靠性和速度的要求也在不断提高。针对目前小文件存储效率较低的问题,首先结合分布式存储系统HDFS的大文件存储优势和Redis缓存技术,提出快速合并小文件的存储方案。把小文件合并为Sequence File存储到HDFS上,采用多元线性回归分析确定负载系数进行负载均衡调节,并在获取文件时使用缓存保证效率。在实验上,搭建相应的文件平台,分别对上传、获取、删除以及内存占用和传统直接上传的方式进行对比分析。可以看出,与传统的直接上传文件到HDFS的方式相比,经过改进的小文件处理方式可以在保证文件可靠性的同时,更快速地处理小文件。 展开更多
关键词 HDFS 小文件 文件缓存 分布式文件系统
下载PDF
一种性能优化的小文件存储访问策略的研究 被引量:20
17
作者 赵跃龙 谢晓玲 +2 位作者 蔡咏才 王国华 刘霖 《计算机研究与发展》 EI CSCD 北大核心 2012年第7期1579-1586,共8页
在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器... 在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能. 展开更多
关键词 分布式文件系统 小文件存储 小文件存储访问 优化 访问性能
下载PDF
分布式文件系统与MPP数据库的混搭架构在电信大数据平台中的应用 被引量:20
18
作者 张雨 蔡鑫 +2 位作者 李爱民 刘翼 姚晓辉 《电信科学》 北大核心 2013年第11期12-16,共5页
通过对分布式文件系统和MPP数据库这两种大数据技术领域重要方向的研究比较,提出了采用混搭架构进行大数据平台架构规划和设计的思路和实现方法,并在具体项目中进行了实际验证。该架构能够兼具两种技术的优点,适应不同场景的大数据存储... 通过对分布式文件系统和MPP数据库这两种大数据技术领域重要方向的研究比较,提出了采用混搭架构进行大数据平台架构规划和设计的思路和实现方法,并在具体项目中进行了实际验证。该架构能够兼具两种技术的优点,适应不同场景的大数据存储和处理要求。 展开更多
关键词 分布式文件系统 MPP数据库 混搭架构
下载PDF
基于云计算的数据存储技术研究 被引量:20
19
作者 孙知信 黄涵霞 《南京邮电大学学报(自然科学版)》 北大核心 2014年第4期13-19,共7页
以云计算环境下大数据存储技术为研究对象,首先介绍了云计算环境下主要的两种典型的分布式存储系统,即Google的GFS和Hadoop的HDFS;对其中的数据存储技术进行了专门分析,从可扩展性和延迟性(如何支持海量小文件的存储)、容错性(在数据丢... 以云计算环境下大数据存储技术为研究对象,首先介绍了云计算环境下主要的两种典型的分布式存储系统,即Google的GFS和Hadoop的HDFS;对其中的数据存储技术进行了专门分析,从可扩展性和延迟性(如何支持海量小文件的存储)、容错性(在数据丢失时进行数据恢复)和海量数据存储的实时性这3个方面对现有技术进行了评价。在此基础上,提出了分布式文件系统的系统架构。最后给出了研究展望。 展开更多
关键词 云计算 海量数据 分布式文件系统 数据存储
下载PDF
基于云存储的网盘系统架构及关键技术研究 被引量:18
20
作者 杨岳湘 邓文平 +1 位作者 邓劲生 李阳 《电信科学》 北大核心 2012年第10期68-72,共5页
面向企业网或校园网的移动办公与存储的网盘系统有着广泛的市场需求,传统的网盘技术在性能、用户共享、安全性、可扩展性等方面存在诸多缺陷。针对这些不足,本文提出了一种基于云存储的高性能网盘系统架构:采用分布式文件系统MooseFS实... 面向企业网或校园网的移动办公与存储的网盘系统有着广泛的市场需求,传统的网盘技术在性能、用户共享、安全性、可扩展性等方面存在诸多缺陷。针对这些不足,本文提出了一种基于云存储的高性能网盘系统架构:采用分布式文件系统MooseFS实现用户数据存储与访问的集群架构;在安全性方面,结合SAMBA实现用户权限管理,用户数据存储支持128 bit AES加密,SSH保证了传输链路的安全;最后,结合用户的实际需求,提供基于Web的访问方式以及客户端的同步盘模式。结果表明,系统在性能、安全性、可扩展性等多方面具有显著优势。 展开更多
关键词 网盘 云存储 分布式文件系统 集群 用户空间
下载PDF
上一页 1 2 20 下一页 到第
使用帮助 返回顶部