期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到98篇文章
< 1 2 … 5 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于HDFS的安全机制设计 被引量：11
1
作者 柴黄琪 苏成 《计算机安全》 2010年第12期22-25,共4页
Hadoop在企业界逐步得到了广泛的应用,其子项目Hadoop分布式文件系统(HDFS)的安全问题就表现得日益突出。在研究了Kerberos以及RBAC模型的基础上,提出了基于令牌的认证机制、基于令牌的访问控制机制以及基于域和角色的访问控制模型以解... Hadoop在企业界逐步得到了广泛的应用,其子项目Hadoop分布式文件系统(HDFS)的安全问题就表现得日益突出。在研究了Kerberos以及RBAC模型的基础上,提出了基于令牌的认证机制、基于令牌的访问控制机制以及基于域和角色的访问控制模型以解决HDFS的认证与授权问题。 展开更多
关键词 hadoop分布式文件系统 认证 授权 令牌
下载PDF
Co-Work:基于HDFS的安全云存储数据一致性保持算法 被引量：4
2
作者 林穗 黄健 姜文超 《计算机工程与应用》 CSCD 北大核心 2017年第1期9-15,共7页
针对云存储平台中用户隐私和敏感数据的安全保护问题,在前期提出的基于自主可控机制的安全云存储模型ASOM(All Self-Organization Model)基础上,对MDSS端元数据的管理操作、MDSS和DMS之间的通信过程做进一步优化,针对ASOM模型实际场景... 针对云存储平台中用户隐私和敏感数据的安全保护问题,在前期提出的基于自主可控机制的安全云存储模型ASOM(All Self-Organization Model)基础上,对MDSS端元数据的管理操作、MDSS和DMS之间的通信过程做进一步优化,针对ASOM模型实际场景引入锁思想实现两个节点一致性的Co-Work算法,完成MDSS和DMS节点之间的协同工作和数据的一致性保持。同时,考虑网络带宽对ASOM中读写效率的影响,引入随机表机制,改变DSS上报的时间结点,以提高ASOM整体读写效率。测试结果表明:执行Co-Work算法后的ASOM模型实现了数据的物理与逻辑隔离,保证用户对元数据的自主控制和管理,而且随着数据尺寸增大读写效率明显提高,在数据达到1 GB时读写效率提高了12%。 展开更多
关键词 安全云存储 hadoop分布式文件系统(HDFS) 一致性
下载PDF
基于HDFS和NVME的机载航电云储存技术研究 被引量：1
3
作者 戴苏榕 胡尧 任金牛 《航空电子技术》 2015年第3期26-29,39,共5页
随着飞机性能的提高,航空电子设备功能的日益复杂,航电系统产生的数据量在呈指数增长。现有航电存储系统已很难满足未来先进航电系统必须具备多平台网络互联能力和数据共享能力。为更好地存储、管理飞机飞行过程产生的数据,本文提出了基... 随着飞机性能的提高,航空电子设备功能的日益复杂,航电系统产生的数据量在呈指数增长。现有航电存储系统已很难满足未来先进航电系统必须具备多平台网络互联能力和数据共享能力。为更好地存储、管理飞机飞行过程产生的数据,本文提出了基于HDFS和NVME固态盘的航电云存储系统设计,充分体现了航电云存储系统的高性能、高可靠性以及海量数据的管理能力,且能满足未来航电大数据的存储和管理要求。 展开更多
关键词 航电大数据 云存储 基于hadoop分布式文件系统 非易失性闪存加速
下载PDF
基于HDFS的区域医学影像分布式存储架构设计 被引量：29
4
作者 李彭军 陈光杰 郭文明 《南方医科大学学报》 CAS CSCD 北大核心 2011年第3期495-498,共4页
构建区域医学影像协作平台是均衡医疗资源、提高基层医院诊疗水平、降低医疗费用的有效途径,但是构建区域化影像平台在技术和成本上还存在巨大的挑战。本文详细分析了传统集中式存储和HDFS(Hadoop Distributed File System)分布式存储... 构建区域医学影像协作平台是均衡医疗资源、提高基层医院诊疗水平、降低医疗费用的有效途径,但是构建区域化影像平台在技术和成本上还存在巨大的挑战。本文详细分析了传统集中式存储和HDFS(Hadoop Distributed File System)分布式存储系统的优缺点,设计了一种适合HDFS特点的S-DICOM文件格式,以及集中式存储(FC SAN)和分布式存储(HDFS集群)结合的统一存储架构,开发了一套SDFO(S-DICOM File Operator)中间件,为上层的PACS应用组件提供透明的存储访问接口。测试结果表明此架构可以满足海量医学影像资料的快速存取和处理需求。 展开更多
关键词 图像归档与传输系统 云计算 软件即服务 hadoop分布式文件系统
下载PDF
基于Hadoop的云计算模型 被引量：27
5
作者 林清滢 《现代计算机》 2010年第7期114-116,121,共4页
Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型Map/Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现... Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型Map/Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现步骤。 展开更多
关键词 云计算 hadoop HDFS MAP/REDUCE
下载PDF
Hadoop分布式文件系统的模型分析 被引量：22
6
作者 王峰 雷葆华 《电信科学》 北大核心 2010年第12期95-99,共5页
Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布式文件系统架构的建模入手,通过对模型各组成部分进行分析... Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布式文件系统架构的建模入手,通过对模型各组成部分进行分析,并将其与传统的分布式文件系统进行比较,总结出Hadoop分布式文件系统具有的海量、高可扩展性、高可靠性、高性能等面向云计算领域应用的重要特征。本文有助于研究者系统、深入地研究Hadoop分布式文件系统的设计与实现,并为云计算背景下的分布式文件系统设计提供重要的参考。 展开更多
关键词 hadoop分布式文件系统 系统模型 云计算
下载PDF
基于云存储视频监控系统的研究 被引量：21
7
作者 张海山 《电子设计工程》 2015年第10期169-171,共3页
视频监控系统对海量视频数据存储和智能视频分析的需求日益突出。针对系统硬件计算能力有限,用户需求的多样性,系统扩展性复杂等问题,云存储技术有很大突破。通过虚拟化技术构建资源池,使用Hadoop分布式文件系统存储海量视频数据,使用Ma... 视频监控系统对海量视频数据存储和智能视频分析的需求日益突出。针对系统硬件计算能力有限,用户需求的多样性,系统扩展性复杂等问题,云存储技术有很大突破。通过虚拟化技术构建资源池,使用Hadoop分布式文件系统存储海量视频数据,使用Map/Reduce编程模型实现大数据并行计算,为用户提供实时视频监控和智能视频分析服务。 展开更多
关键词 云计算 云存储 视频监控 hadoop分布式文件系统
下载PDF
基于Hadoop云平台的空间属性数据挖掘技术研究 被引量：11
8
作者 李娟 《南京理工大学学报》 CAS CSCD 北大核心 2022年第4期419-426,共8页
为了提升数据挖掘效率,为众多空间数据应用领域提供数据支撑,提出基于Hadoop云平台的空间属性数据挖掘技术:利用分布式编程模型MapReduce和Hadoop分布式文件系统构建Hadoop云平台,在云平台中实现分布式计算、数据挖掘、业务响应以及用... 为了提升数据挖掘效率,为众多空间数据应用领域提供数据支撑,提出基于Hadoop云平台的空间属性数据挖掘技术:利用分布式编程模型MapReduce和Hadoop分布式文件系统构建Hadoop云平台,在云平台中实现分布式计算、数据挖掘、业务响应以及用户交互;其中数据挖掘层利用归一化变换将空间数据与属性数据调整为正态分布并统一量纲后,采用快速独立成分分析算法去噪处理变换后数据;依据贝叶斯分类理论以及极大后验和似然假设构建朴素贝叶斯分类器,将去噪处理后的数据作为分类器输入,完成空间属性数据挖掘。试验结果表明该技术应用在农业生产中,可以增加经济效益,数据经去噪后峰值信噪比与结构相似性较高,可有效挖掘城市空间属性数据,且具有较高数据挖掘速度。 展开更多
关键词 hadoop云平台 空间属性 数据挖掘技术 hadoop分布式文件系统 用户交互 分布式计算
下载PDF
HDFS中高效存储小文件的方法 被引量：10
9
作者 尹颖 林庆 林涵阳 《计算机工程与设计》 北大核心 2015年第2期406-409,共4页
为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题,将NameNode职责分离,使用单独的NFS服务器同步存储元数据信息,以降低Client数据请求压力,提供大吞吐量数据访问并改善访问延迟;设计文件与数据块的对应模式,允许在同一... 为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题,将NameNode职责分离,使用单独的NFS服务器同步存储元数据信息,以降低Client数据请求压力,提供大吞吐量数据访问并改善访问延迟;设计文件与数据块的对应模式,允许在同一块中存储多个小文件,并对系统加以实现,为海量小文件的存储提供了一个有效的解决方案。实验结果表明,该机制可以在数据迅速增长的背景下实现海量小文件的高效存取。 展开更多
关键词 hadoop分布式文件系统 海量小文件 性能优化 职责分离 合并小文件
下载PDF
大数据处理平台比较与分析 被引量：8
10
作者 何海林 皮建勇 《微型机与应用》 2015年第11期7-9,17,共4页
虽然以MapReduce和Hadoop分布式系统(HDFS)为核心的Hadoop已在大规模数据密集的商业领域成功应用,但是对于多个并行操作之间重用工作数据集却表现不佳。作为对其的一种补充,本文介绍了Spark。首先介绍Hadoop的MapReduce与HDFS基本概念... 虽然以MapReduce和Hadoop分布式系统(HDFS)为核心的Hadoop已在大规模数据密集的商业领域成功应用,但是对于多个并行操作之间重用工作数据集却表现不佳。作为对其的一种补充,本文介绍了Spark。首先介绍Hadoop的MapReduce与HDFS基本概念与设计思想,然后介绍了Spark的基本概念与思想,并且着重介绍了弹性分布式数据集RDD,并通过实验证明和分析对比了Hadoop与Spark。 展开更多
关键词 hadoop MAP REDUCE HDFS SPARK 弹性分布式数据集
下载PDF
分布式文件系统HDFS处理小文件的优化方案 被引量：8
11
作者 杨彬 《软件》 2014年第6期65-69,共5页
Hadoop分布式文件系统(HDFS)是为可靠地存储和管理海量文件而设计。在HDFS中,所有的文件由单一的服务器NameNode来管理。因此,随着小文件数量的增加,会使HDFS系统性能下降。为了提高存储和访问HDFS上小文件的效率,本文提出了一个解决方... Hadoop分布式文件系统(HDFS)是为可靠地存储和管理海量文件而设计。在HDFS中,所有的文件由单一的服务器NameNode来管理。因此,随着小文件数量的增加,会使HDFS系统性能下降。为了提高存储和访问HDFS上小文件的效率,本文提出了一个解决方案,即:扩展的Hadoop分布式文件系统(EHDFS)。这种方法把一组相关文件组合成一个大文件来减少文件的数量,然后建立一种索引机制,从这个组合文件中识别并访问客户所要的单个文件。实验结果表明EHDFS提高了存储和访问大量小文件的效率。 展开更多
关键词 hadoop分布式文件系统(HDFS) 小文件 扩展的HDFS(EHDFS)
下载PDF
Spark下遥感大数据特征提取的加速策略 被引量：7
12
作者 黄震 钱育蓉 +1 位作者 范迎迎 杜娇 《计算机工程与设计》 北大核心 2017年第12期3279-3283,共5页
提出一种基于Spark分布式内存计算框架的遥感大数据特征提取策略。采用Landsat8为数据源,以计算归一化植被指数(NDVI)、差值植被指数(DVI)、比值植被指数(RVI)为例开展实验。实验结果表明,在相同硬件环境、处理任务、数据量的条件下,Sp... 提出一种基于Spark分布式内存计算框架的遥感大数据特征提取策略。采用Landsat8为数据源,以计算归一化植被指数(NDVI)、差值植被指数(DVI)、比值植被指数(RVI)为例开展实验。实验结果表明,在相同硬件环境、处理任务、数据量的条件下,Spark处理遥感大数据的速度较单机模式下的处理遥感大数据提升了约2倍,基于Hadoop分布式文件系统(HDFS)处理模式较Spark-standalone处理模式处理速度提升了约1.2倍,基于Spark下的HDFS存储模式下,栅格切分遥感大数据较非栅格切分处理速度提高了约1.5倍。 展开更多
关键词 Spark分布式内存计算框架 hadoop分布式文件系统 遥感大数据 内存计算 栅格切分
下载PDF
基于Rsync的远程文件同步优化模型 被引量：6
13
作者 王宾 刘钊远 《计算机与现代化》 2015年第4期10-13,共4页
针对云存储中无法较细粒度地控制网络数据的传输而导致网络带宽利用低的问题,本文基于Rsync文件同步算法,以Hadoop分布式文件系统(HDFS)为研究目标,提出计算分离出云,本地数据表与云服务端分布式缓存表共享部分校验值的远程文件同步优... 针对云存储中无法较细粒度地控制网络数据的传输而导致网络带宽利用低的问题,本文基于Rsync文件同步算法,以Hadoop分布式文件系统(HDFS)为研究目标,提出计算分离出云,本地数据表与云服务端分布式缓存表共享部分校验值的远程文件同步优化模型。实验结果表明,该模型可有效提高云存储文件同步系统的I/O性能,减小同步的成本。 展开更多
关键词 云存储 文件同步 RSYNC算法 hadoop分布式文件系统 校验值 分布式缓存
下载PDF
基于分布式存储和并行计算的海量舆情数据分析方法研究 被引量：1
14
作者 邱国婷 《电子设计工程》 2023年第20期82-85,90,共5页
针对传统集中式数据分析方法难以适用于海量数据处理的问题,提出了一种基于分布式存储和并行计算的海量舆情数据分析方法。在构建完成的数据分析系统中,将采集的源数据存储在Hadoop分布式文件系统,并采用基于热点检测的缓存机制进行数... 针对传统集中式数据分析方法难以适用于海量数据处理的问题,提出了一种基于分布式存储和并行计算的海量舆情数据分析方法。在构建完成的数据分析系统中,将采集的源数据存储在Hadoop分布式文件系统,并采用基于热点检测的缓存机制进行数据读写。同时通过Spark进行数据查询,利用随机森林算法完成数据的高精度分析,且系统的数据分析结果会以各种形式显示并支持查询。在Hadoop 2.6.0与Spark 1.5.0平台上对所提方法进行的实验分析表明,30 000条记录的响应时间是7.8 s,分析准确率为96%,均优于其他对比方法,故具有一定的应用价值。 展开更多
关键词 分布式存储 并行计算 舆情数据 hadoop分布式文件系统 SPARK 随机森林算法
下载PDF
一种面向HDFS的数据随机访问方法 被引量：5
15
作者 李强 孙震宇 孙功星 《计算机工程与应用》 CSCD 北大核心 2017年第10期1-7,共7页
为了简化文件系统的实现,支持超大规模数据集的流式访问,HDFS牺牲了文件的随机访问功能,而在实际场景中很多应用都需要对文件进行随机访问。在深入分析HDFS数据读写原理的基础上,提出了一种面向HDFS的数据随机访问方法。其设计思想是为D... 为了简化文件系统的实现,支持超大规模数据集的流式访问,HDFS牺牲了文件的随机访问功能,而在实际场景中很多应用都需要对文件进行随机访问。在深入分析HDFS数据读写原理的基础上,提出了一种面向HDFS的数据随机访问方法。其设计思想是为Datanode添加本地数据访问接口,用户程序可以读取Datanode上存放的数据块文件以及把数据写入到Datanode上的数据块存放目录。文件的首副本由用户程序直接产生,其余副本在首副本写入完成之后采用数据复制的方式生成。此外,为数据块添加了权限管理功能,Datanode上的文件副本属于用户所有。若名字空间中文件权限发生变化,文件对应的数据块权限也会改变。测试表明,数据读取性能提升了约10%,数据写入性能提升了20%以上,在高并发下写入性能最大可提升2.5倍。 展开更多
关键词 hadoop分布式文件系统 随机访问 权限管理
下载PDF
海量GNSS小文件云存储优化方法研究 被引量：5
16
作者 李林阳 吕志平 +2 位作者 崔阳 王宇谱 周海涛 《武汉大学学报（信息科学版）》 EI CSCD 北大核心 2017年第8期1068-1074,共7页
GNSS数据量呈指数级趋势增长,Hadoop分布式文件系统(HDFS)解决了海量GNSS数据存储瓶颈的难题,却面临内存占用多、文件相关性差和缺乏优化机制的问题。针对HDFS处理海量GNSS小文件效率不高的问题,结合GNSS数据类型、特点以及存储过程,提... GNSS数据量呈指数级趋势增长,Hadoop分布式文件系统(HDFS)解决了海量GNSS数据存储瓶颈的难题,却面临内存占用多、文件相关性差和缺乏优化机制的问题。针对HDFS处理海量GNSS小文件效率不高的问题,结合GNSS数据类型、特点以及存储过程,提出了一种新的GNSS小文件云存储方法,优化了GNSS小文件的写入、读取、添加和删除策略。该方法分别按观测文件和解算成果的类型进行合并,对合并后的文件构建压缩Trie树索引,索引切分后,根据匹配算法分布式地存储索引块。实验采用国际GNSS服务(IGS)28d的数据和产品进行云存储优化。结果表明,该方法降低了各节点内存消耗,提高了海量GNSS小文件写入、读取和删除的效率,实现了对海量GNSS小文件的高效云存储。 展开更多
关键词 全球卫星导航系统 小文件 hadoop分布式文件系统 云存储 压缩Trie树索引
原文传递
基于云存储的教学资源共享平台的设计与实现 被引量：5
17
作者 蒋漪涟 刘晓丹 张路通 《机械制造与自动化》 2016年第4期104-107,共4页
为解决传统平台资源存储的瓶颈和提升用户在海量信息中检索所需教学资源的速度,对云平台中教学资源的存储结构、融合Hbase和My SQL两类数据库优势的混合式数据库系统以及基于J2EE中主流SSH2框架的WEB系统进行设计,使用Hadoop的分布式文... 为解决传统平台资源存储的瓶颈和提升用户在海量信息中检索所需教学资源的速度,对云平台中教学资源的存储结构、融合Hbase和My SQL两类数据库优势的混合式数据库系统以及基于J2EE中主流SSH2框架的WEB系统进行设计,使用Hadoop的分布式文件系统来存储教学资源,实现了一个基于Hadoop的云教学资源平台。 展开更多
关键词 云教学资源平台 hadoop分布式文件系统 SSH2框架
下载PDF
云计算下的远距离无线混合传输数据弱关联挖掘算法
18
作者 尹蓉 《常州工学院学报》 2023年第3期20-24,46,共6页
远距离无线混合传输数据规模庞大、结构复杂,为更高效地完成此类数据的处理与挖掘任务,提出了云计算下弱关联挖掘算法。以Hadoop分布式文件系统为基础,利用元数据节点、命名节点及数据节点等架构云计算平台。根据关联规则支持度、置信... 远距离无线混合传输数据规模庞大、结构复杂,为更高效地完成此类数据的处理与挖掘任务,提出了云计算下弱关联挖掘算法。以Hadoop分布式文件系统为基础,利用元数据节点、命名节点及数据节点等架构云计算平台。根据关联规则支持度、置信度与最小置信度、最小支持度的关系判定数据间弱关联性;基于Apriori算法的连接与剪枝操作构建弱关联挖掘算法。针对某通信企业的远距离无线混合传输数据,展开算法性能检测实验,实验结果表明,所提算法挖掘性与免疫性优势显著,能较好适应恶劣、复杂的传输条件,且具有优越的数据处理速度。 展开更多
关键词 云计算 hadoop分布式文件系统 无线混合传输 关联规则 数据挖掘 APRIORI算法
下载PDF
基于Hadoop的电力数据接入方案设计 被引量：3
19
作者 李超 《江苏科技信息》 2019年第33期38-41,共4页
Hadoop是一个由Apache基金会所开发的分布式系统基础架构,可以进行分布式程序的开发。HDFS具有高容错性,常部署在低廉的硬件上,而且它拥有高吞吐量,可以更好地访问应用程序中的数据,适合有着大数据集的应用程序。基于Hadoop电力数据接... Hadoop是一个由Apache基金会所开发的分布式系统基础架构,可以进行分布式程序的开发。HDFS具有高容错性,常部署在低廉的硬件上,而且它拥有高吞吐量,可以更好地访问应用程序中的数据,适合有着大数据集的应用程序。基于Hadoop电力数据接入方案,文章采用开源的工具包进行二次封装,较好地实现了电力数据的接入,在很大程度上提升了用户的使用体验,具有较高的稳定性和可靠性。 展开更多
关键词 hadoop APACHE 分布式文件系统 高吞吐量 大数据集
下载PDF
基于Hadoop平台的数字图书馆研究 被引量：2
20
作者 王亚民 刘学胜 《情报科学》 CSSCI 北大核心 2012年第11期1685-1690,共6页
随着数字图书馆信息资源的膨胀,数字图书馆出现了一系列问题,云计算的产生给数字图书馆带来了希望。本文对Hadoop云环境进行了比较深入地研究,介绍了云计算的关键技术,设计了基于云计算的数字图书馆的框架和一些功能的实现方法。
关键词 云计算 数字图书馆 hadoop分布式文件系统 分布式计算
原文传递
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 5 下一页 到第 页
使用帮助 返回顶部