期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到412篇文章
< 1 2 … 21 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
大数据基元的HBase数据库存储模型与实现 被引量：8
1
作者 李桥兴 强保华 杨春燕 《广东工业大学学报》 CAS 2014年第3期8-13,共6页
大数据将在未来经济、社会和生活等领域产生深远影响,而大数据的整合存储研究为促进和深化其应用范围有重要的理论和实践意义.本文利用分布式文件系统HBase的数据存储结构特征,采用可拓学基元对异构数据集进行整合处理并存储在HBase数据... 大数据将在未来经济、社会和生活等领域产生深远影响,而大数据的整合存储研究为促进和深化其应用范围有重要的理论和实践意义.本文利用分布式文件系统HBase的数据存储结构特征,采用可拓学基元对异构数据集进行整合处理并存储在HBase数据库.通过提取数据特别是半结构化和非结构化数据的典型特征和属性取值并转换为基元后生成一个新的数据集,不但为数据分析和数据解释提供一种新的实现方式,而且为领域问题的策略生成提供大数据的研究思路和解决方案. 展开更多
关键词 大数据 基元 数据模型 分布式文件 可拓学
下载PDF
基于分布式文件电力异构数据存储综述 被引量：5
2
作者 张琦 陈艳 +1 位作者 张春平 刘铭 《计算机系统应用》 2017年第2期30-36,共7页
随着国网公司信息化建设的不断推进,在整个电网的运检和管理的过程中都会产生海量的数据,这些数据中包含各场景产生的视频、图片、传感器数据和一些企业档案信息等非结构(异构)化数据.在面对如此大规模非结构化的数据存储要求时,传统关... 随着国网公司信息化建设的不断推进,在整个电网的运检和管理的过程中都会产生海量的数据,这些数据中包含各场景产生的视频、图片、传感器数据和一些企业档案信息等非结构(异构)化数据.在面对如此大规模非结构化的数据存储要求时,传统关系型数据库已经表现的力不从心了.如何对此类数据进行高效地、廉价地和安全可靠地存储,并且可以快速检索与分析,是当下研究的重要热点课题之一.本文首先分析了电网大数据的产生及特征,然后综述了工业界大数据分布式文件存储技术,最后分析适合国网非结构化数据的分布式文件存储策略. 展开更多
关键词 大数据 非结构化 分布式文件 数据存储
下载PDF
基于NAS的分布式文件存储平台研究与应用 被引量：2
3
作者 关兆雄 林钰杰 《自动化与仪器仪表》 2017年第2期158-160,共3页
电力企业传统的文件存储平台基于经典的DAS,存在读写速度慢、建设成本高、可靠性不足等问题,制约了电力企业生产和办公业务的发展。为了解决以上问题,本文结合电力企业文件存储情况,通过对主流存储技术研究,创新性地将NAS与文件服务器... 电力企业传统的文件存储平台基于经典的DAS,存在读写速度慢、建设成本高、可靠性不足等问题,制约了电力企业生产和办公业务的发展。为了解决以上问题,本文结合电力企业文件存储情况,通过对主流存储技术研究,创新性地将NAS与文件服务器、微软分布式存储技术融合在一起,搭建了基于NAS的分布式文件存储平台。应用效果表明,该存储平台搭建成本下降了35%,访问速度提升了30%,安全运行率达到99.9%,本文所设计的方案是有效的。 展开更多
关键词 NAS 文件存储系统 分布式文件 电力企业
原文传递
Python语言的分布式共享系统的设计分析 被引量：1
4
作者 熊辉 《现代信息科技》 2018年第11期23-24,26,共3页
如今已经进入信息大数据的时代,生活与信息的联系日益紧密,人们对信息的分享和传播速率有了更高的要求。为了高效利用信息以及快速掌握所需信息,需建立一个智能的安全文件共享系统。为了提升工作效率以及节省成本,本文借助于Python语言... 如今已经进入信息大数据的时代,生活与信息的联系日益紧密,人们对信息的分享和传播速率有了更高的要求。为了高效利用信息以及快速掌握所需信息,需建立一个智能的安全文件共享系统。为了提升工作效率以及节省成本,本文借助于Python语言,设计了一个分布式文件共享系统。 展开更多
关键词 PYTHON语言 分布式文件 智能自动化 系统构建
下载PDF
基于域分布式文件共享实现方案探讨
5
作者 车艳艳 《广西电力》 2015年第5期78-79,83,共3页
为保障桂林供电局网络信息安全,消除开启本地文件共享给桌面计算机带来的安全风险,探讨安全、稳定的文件共享方案。通过分析局域网的实际情况,以及文件共享系统的部署方式及实现方法,提出基于域分布式文件共享实现方案。通过部署基于域... 为保障桂林供电局网络信息安全,消除开启本地文件共享给桌面计算机带来的安全风险,探讨安全、稳定的文件共享方案。通过分析局域网的实际情况,以及文件共享系统的部署方式及实现方法,提出基于域分布式文件共享实现方案。通过部署基于域分布式文件共享系统,实现用域用户对共享文件访问权限的控制,优化用户对共享文件的访问方式,提高系统稳定性,达到对分散共享文件的整合,用户能够更透明、有条理地访问共享文件资源,减少了桌面计算机共享漏洞,提高了信息安全防护水平。 展开更多
关键词 域 分布式文件 文件共享 漏洞
下载PDF
面向大数据分析的分布式文件系统关键技术 被引量：74
6
作者 周江 王伟平 +3 位作者 孟丹 马灿 古晓艳 蒋杰 《计算机研究与发展》 EI CSCD 北大核心 2014年第2期382-394,共13页
大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段．信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点．传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满... 大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段．信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点．传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求．设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover．该系统采用基于目录划分和一致性Hash映射的名字空间管理方法，解决了元数据扩展性问题；通过改进的两阶段提交协议，保证了多元数据服务器下分布式元数据操作的一致性；提出了基于共享存储池的高可用机制，通过热备和全局状态恢复机制提高了元数据的可靠性．评测结果表明，Clover的元数据处理能力随服务器的数量线性增长，增加单个服务器的元数据操作性能平均提升了5．13％～159．32％．由于名字空间管理和分布式事务的开销，多元数据服务器会导致复杂操作的性能下降，但是这种下降的幅度很小（小于10％）．与HDFS相比，Clover的文件读写带宽与之接近，并能够保证在元数据服务器失效后文件系统快速恢复，适合于构建高可扩展和高可用的存储系统． 展开更多
关键词 大数据 海量数据存储 分布式文件系统 元数据可扩展性 高可用性
下载PDF
基于分布式文件系统HDFS的节能算法 被引量：58
7
作者 廖彬 于炯 +1 位作者 张陶 杨兴耀 《计算机学报》 EI CSCD 北大核心 2013年第5期1047-1064,共18页
与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储... 与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵,为后续研究建立了基础模型.结合数据块状态矩阵与数据块可用性之间的关系设计了DataNode节点休眠验证算法.概率分析了由于机架感知的存储策略带来数据块分布的随机性,使得在不改变数据块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的.进而设计了数据块存储结构配置节能算法与基于对称数据块存储策略下的节能算法,分别从改变数据块的存储结构与存储策略两方面对HDFS进行节能改进.实验结果表明:两种节能算法都能解决HDFS集群的能耗低利用率问题,并且集群负载越低节能效率越高. 展开更多
关键词 云计算 分布式文件系统 节能计算 副本策略 绿色计算
下载PDF
云计算环境下的数据存储 被引量：55
8
作者 王德政 申山宏 周宁宁 《计算机技术与发展》 2011年第4期81-84,89,共5页
近年来,越来越多的人和企业开始关注云计算这种新的计算模式,高性能的云存储是实现云计算服务的基本条件。介绍了云计算与云存储,讨论了云计算环境下的数据存储体系结构,对其中的分布式文件系统的设计进行了详细的探讨,为企业创建自己... 近年来,越来越多的人和企业开始关注云计算这种新的计算模式,高性能的云存储是实现云计算服务的基本条件。介绍了云计算与云存储,讨论了云计算环境下的数据存储体系结构,对其中的分布式文件系统的设计进行了详细的探讨,为企业创建自己的基于云计算的数据中心提供了一个具有可用性、可扩展性、可管理性、安全性的设计方案。最后对几种典型的商业化云存储平台进行了简单的分析并讨论了云计算的发展趋势,同时针对企业在云计算的发展中所处的角色不同,给出了不同的发展策略。 展开更多
关键词 云计算 云存储 分布式文件系统
下载PDF
大数据关键技术 被引量：55
9
作者 王秀磊 刘鹏 《中兴通讯技术》 2013年第4期17-21,共5页
结合大数据系统的一般结构,介绍和对比了当前大数据领域在文件存储、数据处理和数据库领域的关键技术。通过各种技术的对比,得到了一些分析结果。分析结果表明大数据系统的解决方案必将落地于现有的云计算平台;云计算平台的分布式文件... 结合大数据系统的一般结构,介绍和对比了当前大数据领域在文件存储、数据处理和数据库领域的关键技术。通过各种技术的对比,得到了一些分析结果。分析结果表明大数据系统的解决方案必将落地于现有的云计算平台;云计算平台的分布式文件系统、分布式运算模式和分布式数据库管理技术是解决大数据问题的基础;一些大的依靠数据盈利的大公司必然会是大数据应用的主体。 展开更多
关键词 大数据 分布式文件系统 分布式数据库 MapReduce技术
下载PDF
基于分布式文件系统的海量电能质量监测数据管理方案 被引量：42
10
作者 张逸 杨洪耕 叶茂清 《电力系统自动化》 EI CSCD 北大核心 2014年第2期102-108,共7页
目前,电能质量监测数据已经呈现海量化的趋势,如果仅用关系数据库存储,将带来存储占用空间大、存取速度慢、可扩展性差等问题。文中通过分析现有电能质量监测系统中的数据存取特征和硬件环境,提出了一种基于分布式文件系统的海量电能质... 目前,电能质量监测数据已经呈现海量化的趋势,如果仅用关系数据库存储,将带来存储占用空间大、存取速度慢、可扩展性差等问题。文中通过分析现有电能质量监测系统中的数据存取特征和硬件环境,提出了一种基于分布式文件系统的海量电能质量监测数据管理方案。此方案将不同电能质量指标的历史监测数据分别压缩后存储在文件中;利用现有监测子站以及相关系统的分布式异构服务器作为文件服务器以存储数据文件;利用监测主站服务器作为主服务器,保存数据特征值和文件索引,并对文件资源进行统一管理。此方案充分利用了各服务器的存储空间和网络带宽,节约了存储空间,提高了存取效率,具有较高的可靠性和可扩展性。以存储100个监测点180 d数据为例,此方案存储空间占用仅为传统关系数据库方案的2.28%;以检索某个监测点180 d的5次谐波三相电压幅值数据为例,此方案加速比约为16.49倍。在四川电能质量一体化数据平台中的成功应用证明了此方案的可靠性和实用性。 展开更多
关键词 电能质量 海量数据 分布式文件系统 文件分块机制 容错机制
下载PDF
一种保护云存储平台上用户数据私密性的方法 被引量：40
11
作者 侯清铧 武永卫 +1 位作者 郑纬民 杨广文 《计算机研究与发展》 EI CSCD 北大核心 2011年第7期1146-1154,共9页
近年来,云存储被研究者和IT厂商广泛关注,许多应用程序都用云存储来存储数据.但是用户和厂商都对于云存储的安全性和私密性问题表示忧虑.云存储安全的核心是分布式文件系统的安全性和私密性.基于SSL安全连接和Daoli安全虚拟监控系统可... 近年来,云存储被研究者和IT厂商广泛关注,许多应用程序都用云存储来存储数据.但是用户和厂商都对于云存储的安全性和私密性问题表示忧虑.云存储安全的核心是分布式文件系统的安全性和私密性.基于SSL安全连接和Daoli安全虚拟监控系统可以充分保护分布式文件系统中用户数据的安全性和私密性.安全虚拟监督系统可以阻止传统攻击及来自云管理员的攻击.针对用户的不同需求和数据存储系统的特点,有2种解决方案,分别针对分布式文件系统中用户文件的每一块进行保护,保障用户文件每一块的私密性及对整个用户文件进行保护,保证用户文件整体私密性.对于用户数据的私密性而言,SSL安全连接和虚拟监控系统引入的性能损失是可以被接受的. 展开更多
关键词 云存储 分布式文件系统 数据私密性 虚拟机 安全虚拟监督系统
下载PDF
应用分布式存储技术优化省级CIMISS数据服务能力 被引量：37
12
作者 宋智 徐晓莉 +2 位作者 张常亮 向筱铭 杨雪 《气象科技》 2019年第3期433-438,共6页
随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现... 随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。 展开更多
关键词 CIMISS 分布式文件系统 共享文件系统 分布式数据库 关系数据库
下载PDF
大容量、高性能、高扩展能力的蓝鲸分布式文件系统 被引量：28
13
作者 杨德志 黄华 +1 位作者 张建刚 许鲁 《计算机研究与发展》 EI CSCD 北大核心 2005年第6期1028-1033,共6页
应用需求和计算机技术的发展使网络化存储系统成为网络服务器系统中IO子系统研究的热点.作为网络存储系统关键部件,分布式文件系统的研究具有非常重要的意义.蓝鲸分布式文件系统(BWFS)是国家高性能计算机工程技术研究中心基于对国内外... 应用需求和计算机技术的发展使网络化存储系统成为网络服务器系统中IO子系统研究的热点.作为网络存储系统关键部件,分布式文件系统的研究具有非常重要的意义.蓝鲸分布式文件系统(BWFS)是国家高性能计算机工程技术研究中心基于对国内外现有研究成果的分析和研究,自主设计实现的分布式文件系统.它着重于大容量、高IO吞吐率和高扩展能力等方面特性.BWFS已经用到BW1K网络存储系统中,并通过BW1K的初步评测数据验证了这些特性. 展开更多
关键词 网络存储系统 分布式文件系统 大容量 高吞吐率 高可扩展能力
下载PDF
大数据存储架构和算法研究综述 被引量：37
14
作者 杨俊杰 廖卓凡 冯超超 《计算机应用》 CSCD 北大核心 2016年第9期2465-2471,共7页
随着大数据计算需求的增长,集群的处理速度需要得到快速的提升,然而目前大数据处理框架的处理性能已逐渐满足不了这种快速增长的需求。由于集群的存储架构是分布式存储,因此数据的存放在大数据处理过程中成为影响集群的处理性能的因素... 随着大数据计算需求的增长,集群的处理速度需要得到快速的提升,然而目前大数据处理框架的处理性能已逐渐满足不了这种快速增长的需求。由于集群的存储架构是分布式存储,因此数据的存放在大数据处理过程中成为影响集群的处理性能的因素之一。首先,对当今的分布式文件存储系统的结构进行了介绍;接着,根据不同的优化目标,例如减少网络负载、负载均衡、降低能耗和高容错性等,对近年国内外大数据存储算法的研究进行了总结,分析和对比了已有算法的优点以及存在的问题;最后,对大数据存储架构和优化算法设计的挑战和未来研究方向作了展望。 展开更多
关键词 大数据 数据部署 分布式文件系统 MAPREDUCE HADOOP
下载PDF
HDFS存储和优化技术研究综述 被引量：36
15
作者 金国栋 卞昊穹 +1 位作者 陈跃国 杜小勇 《软件学报》 EI CSCD 北大核心 2020年第1期137-161,共25页
HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量... HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量的结构化和非结构化数据,支撑着复杂查询分析、交互式分析、详单查询、Key-Value读写和迭代计算等丰富的应用场景.HDFS的性能问题将影响其上所有大数据系统和应用,因此,对HDFS存储性能的优化至关重要.介绍了HDFS的原理和特性,对已有HDFS的存储及优化技术,从文件逻辑结构、硬件设备和应用负载这3个维度进行了归纳和总结.综述了近年来HDFS存储和优化相关研究.未来,随着HDFS上层应用的日益丰富和底层硬件平台的发展,基于异构平台的数据存储、面向应用负载的自适应存储优化以及结合机器学习的存储优化技术将成为未来研究的主要方向. 展开更多
关键词 HDFS 分布式文件系统 存储系统优化 数据分析
下载PDF
Namenode单点故障解决方案研究 被引量：27
16
作者 邓鹏 李枚毅 何诚 《计算机工程》 CAS CSCD 2012年第21期40-44,共5页
针对Hadoop分布式文件系统中的Namenode单点故障问题,在研究Secondary Namenode机制、Backup Node机制和FacebookAvatar机制的基础上,提出一种Avatar改进方案。主节点向备用节点转发客户端请求,使用Zookeeper实现故障切换,从而解决Namen... 针对Hadoop分布式文件系统中的Namenode单点故障问题,在研究Secondary Namenode机制、Backup Node机制和FacebookAvatar机制的基础上,提出一种Avatar改进方案。主节点向备用节点转发客户端请求,使用Zookeeper实现故障切换,从而解决Namenode的单点故障问题。利用Petri网模型在理论上证明了该方案的正确性,采用基于有限源的存储网络故障修复模型对该方案的可用性进行定量分析。实验结果表明,该方案具有不丢失数据、快速切换和故障自动恢复的特点。 展开更多
关键词 云计算 单点故障 HADOOP分布式文件系统 高可用性 PETRI网 故障恢复
下载PDF
基于Hadoop架构的分布式计算和存储技术及其应用 被引量：27
17
作者 田秀霞 周耀君 +1 位作者 毕忠勤 彭源 《上海电力学院学报》 CAS 2011年第1期70-74,共5页
介绍了Hadoop架构的主要构成,通过一个实例详细阐述了Hadoop架构的MapReduce实现机制;开发了一个基于Hadoop架构职工工资统计应用实例,并根据该实例分析了其在单节点模式、伪分布模式和完全分布模式应用中的运行效率.
关键词 Hadoop架构 MapReduce机制 分布式文件系统
下载PDF
一种轻量级大数据分析系统的实现 被引量：28
18
作者 周小娟 《电子设计工程》 2016年第8期40-43,共4页
为了让更多的非计算机专业研究者能够简捷方便的使用大数据技术在各自所在领域进行数据分析和预测,本文研究并实现了一种轻量级的大数据分析系统,该系统通过抽象各种大数据技术的概念,屏蔽了大数据技术的复杂性,通过友好易用的用户交互... 为了让更多的非计算机专业研究者能够简捷方便的使用大数据技术在各自所在领域进行数据分析和预测,本文研究并实现了一种轻量级的大数据分析系统,该系统通过抽象各种大数据技术的概念,屏蔽了大数据技术的复杂性,通过友好易用的用户交互界面,使得各个行业的非计算机专业的研究人员能够快速掌握该系统,并进行各种数据分析和预测活动。 展开更多
关键词 大数据 轻量级 数据分析 预测 分布式文件系统 数据仓库
下载PDF
基于Hadoop的云计算模型 被引量：27
19
作者 林清滢 《现代计算机》 2010年第7期114-116,121,共4页
Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型Map/Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现... Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型Map/Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现步骤。 展开更多
关键词 云计算 HADOOP HDFS MAP/REDUCE
下载PDF
基于HDFS的区域医学影像分布式存储架构设计 被引量：28
20
作者 李彭军 陈光杰 郭文明 《南方医科大学学报》 CAS CSCD 北大核心 2011年第3期495-498,共4页
构建区域医学影像协作平台是均衡医疗资源、提高基层医院诊疗水平、降低医疗费用的有效途径,但是构建区域化影像平台在技术和成本上还存在巨大的挑战。本文详细分析了传统集中式存储和HDFS(Hadoop Distributed File System)分布式存储... 构建区域医学影像协作平台是均衡医疗资源、提高基层医院诊疗水平、降低医疗费用的有效途径,但是构建区域化影像平台在技术和成本上还存在巨大的挑战。本文详细分析了传统集中式存储和HDFS(Hadoop Distributed File System)分布式存储系统的优缺点,设计了一种适合HDFS特点的S-DICOM文件格式,以及集中式存储(FC SAN)和分布式存储(HDFS集群)结合的统一存储架构,开发了一套SDFO(S-DICOM File Operator)中间件,为上层的PACS应用组件提供透明的存储访问接口。测试结果表明此架构可以满足海量医学影像资料的快速存取和处理需求。 展开更多
关键词 图像归档与传输系统 云计算 软件即服务 HADOOP分布式文件系统
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 21 下一页 到第 页
使用帮助 返回顶部