期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到84篇文章
< 1 2 … 5 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
云存储中面向访问任务的小文件合并与预取策略 被引量：14
1
作者 王涛 姚世红 +1 位作者 徐正全 熊炼 《武汉大学学报（信息科学版）》 EI CSCD 北大核心 2013年第12期1504-1508,共5页
针对云存储中通用分布式文件系统的小文件问题,改进概率潜语义分析(PLSA)模型,提出了一种面向用户访问任务的小文件合并与预取策略。该策略分析用户的访问任务、系统应用和访问文件之间的关系,根据任务合并小文件,并基于任务的转移概率... 针对云存储中通用分布式文件系统的小文件问题,改进概率潜语义分析(PLSA)模型,提出了一种面向用户访问任务的小文件合并与预取策略。该策略分析用户的访问任务、系统应用和访问文件之间的关系,根据任务合并小文件,并基于任务的转移概率预取文件。对建立的效率模型的分析和基于HDFS的数字城市原型系统实验结果都表明,此策略有较高的预取命中率,可以有效减少元数据服务器的负载和用户请求响应时延。 展开更多
关键词 分布式文件系统 概率潜语义分析 小文件 访问任务 合并与预取
原文传递
基于Redis的海量互联网小文件实时存储与索引策略研究 被引量：13
2
作者 刘俊龙 刘光明 +1 位作者 张黛 喻杰 《计算机研究与发展》 EI CSCD 北大核心 2015年第S2期148-154,共7页
随着信息技术的迅猛发展,互联网数据迸发、海量互联网小文件的实时存储与处理成为越来越多互联网应用所面临的难题.相对于大文件而言,海量小文件的实时存取会给文件系统带来巨大的压力,传统的文件系统很难快速地存取海量小文件,这严重... 随着信息技术的迅猛发展,互联网数据迸发、海量互联网小文件的实时存储与处理成为越来越多互联网应用所面临的难题.相对于大文件而言,海量小文件的实时存取会给文件系统带来巨大的压力,传统的文件系统很难快速地存取海量小文件,这严重影响到互联网应用的实时性.内存数据库技术凭借其在数据处理速度上的优势,为海量互联网小文件的实时存储与处理提供了新的方法.基于Redis内存数据库进行面向海量小文件的实时存储与索引策略研究,一方面基于Redis键值数据库的特点,提出了互联网文件到Redis数据库的缩写映射优化算法;另一方面,面对不断涌入的海量互联网数据,提出了基于查询关键字的轻量级索引策略,在大数据量下的实验数据表明此索引策略的索引规模更小,维护代价更低,基于关键字的查询响应时间更短. 展开更多
关键词 实时存储处理 小文件 内存数据库 REDIS 实时检索
下载PDF
分布式文件系统HDFS处理小文件的优化方案 被引量：8
3
作者 杨彬 《软件》 2014年第6期65-69,共5页
Hadoop分布式文件系统(HDFS)是为可靠地存储和管理海量文件而设计。在HDFS中,所有的文件由单一的服务器NameNode来管理。因此,随着小文件数量的增加,会使HDFS系统性能下降。为了提高存储和访问HDFS上小文件的效率,本文提出了一个解决方... Hadoop分布式文件系统(HDFS)是为可靠地存储和管理海量文件而设计。在HDFS中,所有的文件由单一的服务器NameNode来管理。因此,随着小文件数量的增加,会使HDFS系统性能下降。为了提高存储和访问HDFS上小文件的效率,本文提出了一个解决方案,即:扩展的Hadoop分布式文件系统(EHDFS)。这种方法把一组相关文件组合成一个大文件来减少文件的数量,然后建立一种索引机制,从这个组合文件中识别并访问客户所要的单个文件。实验结果表明EHDFS提高了存储和访问大量小文件的效率。 展开更多
关键词 Hadoop分布式文件系统(HDFS) 小文件 扩展的HDFS(EHDFS)
下载PDF
SQL-DFS:一种基于HDFS的海量小文件存储系统 被引量：7
4
作者 马志强 杨双涛 +1 位作者 闫瑞 张泽广 《北京工业大学学报》 CAS CSCD 北大核心 2016年第1期134-141,共8页
针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时Name Node内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在Name Node中加入小文件处理模块实现了小文件... 针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时Name Node内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在Name Node中加入小文件处理模块实现了小文件元数据由Name Node内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对Name Node的请求次数;通过将部分Data Node文件块的校验工作交由元数据存储集群完成,进一步降低了Name Node节点的负载压力.最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQLDFS在文件平均耗时(file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储. 展开更多
关键词 Hadoop分布式文件系统(HDFS) 元数据存储集群 小文件 元数据 内存占用率
下载PDF
基于Redis的海量智慧医疗小文件存储架构设计 被引量：7
5
作者 程晗 汪学明 《计算机应用与软件》 北大核心 2018年第4期86-90,128,共6页
在智慧医疗中,各种医疗设备采集录入的都是一些小文件数据。但是由于Hadoop在处理小文件存在天生的不足,同时对智慧医疗数据有高并发高响应读写要求,提出一种基于Redis针对智慧医疗小文件的优化存储架构。充分结合Redis内存数据库存储... 在智慧医疗中,各种医疗设备采集录入的都是一些小文件数据。但是由于Hadoop在处理小文件存在天生的不足,同时对智慧医疗数据有高并发高响应读写要求,提出一种基于Redis针对智慧医疗小文件的优化存储架构。充分结合Redis内存数据库存储优势以及智慧医疗数据自身数据类型的特点设计存储架构以及混合索引策略。通过改进的AHP算法进行均衡负载预测,实现数据高并发快速响应。实验结果表明,该存储架构大大提高了智慧医疗小文件存储和访问效率,达到了预期良好的效果。 展开更多
关键词 智慧医疗 小文件 REDIS 负载调节
下载PDF
多模态医疗数据中海量小文件存储优化方法 被引量：3
6
作者 曾梦 邹北骥 +2 位作者 张文生 杨雪冰 朱承璋 《软件学报》 EI CSCD 北大核心 2023年第3期1451-1469,共19页
Hadoop分布式文件系统(HDFS)通常用于大文件的存储和管理,当进行海量小文件的存储和计算时,会消耗大量的NameNode内存和访问时间,成为制约HDFS性能的一个重要因素.针对多模态医疗数据中海量小文件问题,提出一种基于双层哈希编码和HBase... Hadoop分布式文件系统(HDFS)通常用于大文件的存储和管理,当进行海量小文件的存储和计算时,会消耗大量的NameNode内存和访问时间,成为制约HDFS性能的一个重要因素.针对多模态医疗数据中海量小文件问题,提出一种基于双层哈希编码和HBase的海量小文件存储优化方法.在小文件合并时,使用可扩展哈希函数构建索引文件存储桶,使索引文件可以根据需要进行动态扩展,实现文件追加功能.在每个存储桶中,使用MWHC哈希函数存储每个文件索引信息在索引文件中的位置,当访问文件时,无须读取所有文件的索引信息,只需读取相应存储桶中的索引信息即可,从而能够在O(1)的时间复杂度内读取文件,提高文件查找效率.为了满足多模态医疗数据的存储需求,使用HBase存储文件索引信息,并设置标识列用于标识不同模态的医疗数据,便于对不同模态数据的存储管理,并提高文件的读取速度.为了进一步优化存储性能,建立了基于LRU的元数据预取机制,并采用LZ4压缩算法对合并文件进行压缩存储.通过对比文件存取性能、NameNode内存使用率,实验结果表明,所提出的算法与原始HDFS、HAR、MapFile、TypeStorage以及HPF小文件合并方法相比,文件读取时间更短,能够提高HDFS在处理多模态医疗数据中海量小文件时的整体性能. 展开更多
关键词 多模态医疗数据 HDFS HBASE 小文件 存储性能优化
下载PDF
Hadoop的小图片处理技术及其在人脸特征提取上的应用 被引量：6
7
作者 余征 龚勋 +1 位作者 李天瑞 张钧波 《小型微型计算机系统》 CSCD 北大核心 2015年第8期1891-1895,共5页
人脸识别算法作为一种较流行的生物识别技术,受到各界人士的关注.随着人脸识别技术商业化的不断推进,越来越多的应用场景面临实时性的要求.如何对海量人脸图像快速处理显得格外重要.Hadoop是为处理大数据而设计,在数据密集型大数据处理... 人脸识别算法作为一种较流行的生物识别技术,受到各界人士的关注.随着人脸识别技术商业化的不断推进,越来越多的应用场景面临实时性的要求.如何对海量人脸图像快速处理显得格外重要.Hadoop是为处理大数据而设计,在数据密集型大数据处理上取得了良好成绩.但它能否应对I/O密集型图像数据(海量人脸小图像)带来的挑战,还值得探究.以人脸识别的重要阶段特征提取为例,根据人脸图片特点,结合MapReduce模型和Hadoop组合分片方法,设计并实现基于Hadoop的人脸特征提取方法,并分析Hadoop用于处理海量小图像文件时的性能.实验证明,Hadoop对海量小图像文件的处理表现良好. 展开更多
关键词 小文件 海量图像 HADOOP 大数据
下载PDF
基于Hadoop处理小文件的优化策略 被引量：6
8
作者 左大鹏 徐薇 《软件》 2015年第2期107-111,共5页
HDFS(Hadoop Distributed File System)作为开源系统广泛地适用于各类存储服务中,具有高容错,易扩展,廉价存储等特点。然而,HDFS基于单一的服务器Name Node来处理元数据信息管理,当处理海量小文件时会造成Name Node内存过分消耗以及存... HDFS(Hadoop Distributed File System)作为开源系统广泛地适用于各类存储服务中,具有高容错,易扩展,廉价存储等特点。然而,HDFS基于单一的服务器Name Node来处理元数据信息管理,当处理海量小文件时会造成Name Node内存过分消耗以及存储和读取性能并不理想,使Name Node成为系统瓶颈。本文提出一种基于HAR(Hadoop Archive)的优化机制来提高Name Node存储元数据信息的内存利用效率和提高读取小文件的访问效率。另外,该策略也扩展了HAR文件追加的优化和为提高访问效率采用索引预取机制。实验结果表明该优化策略能够提高现有HAR处理小文件的能力和访问海量小文件的效率。 展开更多
关键词 HDFS 小文件 HAR 索引策略 索引预取
下载PDF
大量气象数据小文件自适应优化传输 被引量：6
9
作者 陆颖华 马廷淮 +1 位作者 曹浩 李德泉 《应用气象学报》 CSCD 北大核心 2014年第5期629-637,共9页
为满足气象实时资料传输中大量气象数据小文件的高时效传输需求,对其中的数据传输服务进行优化,提出一种基于实时网络状况的自适应数据传输优化方法。该方法采用优化网络传输协议并使用文件压缩技术,通过获取网络传输线路上的实时参数,... 为满足气象实时资料传输中大量气象数据小文件的高时效传输需求,对其中的数据传输服务进行优化,提出一种基于实时网络状况的自适应数据传输优化方法。该方法采用优化网络传输协议并使用文件压缩技术,通过获取网络传输线路上的实时参数,实时调整压缩参数和网络传输参数以优化传输性能。在自适应压缩时,通过试验分析和归纳,确立了气象数据小文件标准为文件小于50 KB;根据网络实时状况,设计了基于实时网络状况自适应调整压缩等级的算法。在自适应传输参数调优中,研究了TCP缓冲区大小和TCP并发连接数在GridFTP协议中的重要性,针对实时网络状况,分别设计了自适应调整TCP缓冲区大小和TCP并发连接数的算法,算法提升传输性能65%。对以上提出各自适应参数调整算法进行试验验证表明,融合压缩和网络传输的自适应调优方法能显著提升气象小数据文件的传输性能近500倍。 展开更多
关键词 气象数据 小文件 压缩 传输优化
下载PDF
基于HDFS的云存储小文件合并优化方法研究 被引量：2
10
作者 朱莉 《船舶职业教育》 2023年第2期62-65,共4页
随着云计算技术的飞速发展,海量小文件的云存储效率面临巨大的挑战。将基于HDFS的小文件合并存储成大文件的方法可以优化文件存取策略,结合Hadoop通用解决方案提出一种优化存储空间的小文件合并存储方法,在原有的用户层和存储层之间加... 随着云计算技术的飞速发展,海量小文件的云存储效率面临巨大的挑战。将基于HDFS的小文件合并存储成大文件的方法可以优化文件存取策略,结合Hadoop通用解决方案提出一种优化存储空间的小文件合并存储方法,在原有的用户层和存储层之间加入处理层,包括文件大小判定、小文件合并及索引文件生成等分级处理模块,设计文件读取和写入流程,提高数据的存储效率,减少内存开销,整体提升HDFS文件存储系统访问性能,保障云存储的稳定性和高效性。 展开更多
关键词 HDFS 小文件 合并存储
下载PDF
海量GNSS小文件云存储优化方法研究 被引量：5
11
作者 李林阳 吕志平 +2 位作者 崔阳 王宇谱 周海涛 《武汉大学学报（信息科学版）》 EI CSCD 北大核心 2017年第8期1068-1074,共7页
GNSS数据量呈指数级趋势增长,Hadoop分布式文件系统(HDFS)解决了海量GNSS数据存储瓶颈的难题,却面临内存占用多、文件相关性差和缺乏优化机制的问题。针对HDFS处理海量GNSS小文件效率不高的问题,结合GNSS数据类型、特点以及存储过程,提... GNSS数据量呈指数级趋势增长,Hadoop分布式文件系统(HDFS)解决了海量GNSS数据存储瓶颈的难题,却面临内存占用多、文件相关性差和缺乏优化机制的问题。针对HDFS处理海量GNSS小文件效率不高的问题,结合GNSS数据类型、特点以及存储过程,提出了一种新的GNSS小文件云存储方法,优化了GNSS小文件的写入、读取、添加和删除策略。该方法分别按观测文件和解算成果的类型进行合并,对合并后的文件构建压缩Trie树索引,索引切分后,根据匹配算法分布式地存储索引块。实验采用国际GNSS服务(IGS)28d的数据和产品进行云存储优化。结果表明,该方法降低了各节点内存消耗,提高了海量GNSS小文件写入、读取和删除的效率,实现了对海量GNSS小文件的高效云存储。 展开更多
关键词 全球卫星导航系统 小文件 HADOOP分布式文件系统 云存储 压缩Trie树索引
原文传递
一种面向海量小文件的文件接收和存储优化方案 被引量：5
12
作者 张守利 杨冬菊 韩燕波 《小型微型计算机系统》 CSCD 北大核心 2015年第8期1747-1751,共5页
HDFS是目前最典型的云存储平台,它凭借其高容错、可伸缩和廉价存储的优点支持大规模数据集的存储.但是HDFS对于海量、高并发、连续、高速的小文件的接收和存储效率并不高.针对这一问题,提出一种优化方案RSMSF.在该方法中,文件缓存服务... HDFS是目前最典型的云存储平台,它凭借其高容错、可伸缩和廉价存储的优点支持大规模数据集的存储.但是HDFS对于海量、高并发、连续、高速的小文件的接收和存储效率并不高.针对这一问题,提出一种优化方案RSMSF.在该方法中,文件缓存服务器不断地接收前端文件,给文件添加标识信息并存放到对应的文件队列.当文件队列满足某一窗口阈值时,根据一致性哈希算法将该队列中的文件发送到对应的文件处理服务器上进行文件合并处理,最后上传到HDFS.实验表明,RSMSF方法减少了文件的处理时间,降低了文件丢失率,同时降低了HDFS中内存的开销,节约了存储空间. 展开更多
关键词 HDFS 海量 小文件 RSMSF 阈值 一致性哈希
下载PDF
基于分布式索引和目录聚合的海量小文件存储研究 被引量：5
13
作者 马灿 孟丹 熊劲 《高技术通讯》 CAS CSCD 北大核心 2012年第10期1035-1040,共6页
针对海量小文件访问问题的挑战，提出了用基于分布式索引和目录聚合的分布式文件系统——超虚拟文件系统（HVFS）来管理数十亿个小文件的方法，以支持高并发、高吞吐、低延迟的访问。重点讨论了目录索引、目录存储问题，提出了利用可扩... 针对海量小文件访问问题的挑战，提出了用基于分布式索引和目录聚合的分布式文件系统——超虚拟文件系统（HVFS）来管理数十亿个小文件的方法，以支持高并发、高吞吐、低延迟的访问。重点讨论了目录索引、目录存储问题，提出了利用可扩展哈希索引来降低延迟、提高扩展性，利用日志结构和列存储的目录聚合来提高吞吐率的方法。测试结果表明，HVFS的存储性能能够线性扩展，82节点上峰值创建速度接近百万每秒，与GIGA＋相比有200％以上的提升，小文件I／O性能与OrangeFS相比有60倍以上的提升，充分验证了分布式索引和目录聚合方法的有效性。 展开更多
关键词 小文件 海量存储 分布式索引 目录聚合 分布式文件系统
下载PDF
基于LZO的Hadoop文件归档优化方法
14
作者 张军 苏文浩 《计算机与现代化》 2023年第6期1-6,26,共7页
Hadoop分布式框架被广泛应用于各行业大数据处理领域,但在存储大量小文件时会产生更多的元数据信息,导致名称节点的内存占用过多,影响其对外提供高性能和高并发访问的能力。对小文件进行归档存储,是有效解决该问题的常用方案。同时,考... Hadoop分布式框架被广泛应用于各行业大数据处理领域,但在存储大量小文件时会产生更多的元数据信息,导致名称节点的内存占用过多,影响其对外提供高性能和高并发访问的能力。对小文件进行归档存储,是有效解决该问题的常用方案。同时,考虑到数据压缩可有效减少数据存储空间大小与网络数据传输负载,本文提出一种基于实时无损压缩算法LZO的Hadoop文件归档优化方法LA(LZO-Archive)。该方法先对小文件进行归档合并,在索引文件生成阶段融合LZO压缩算法,减少索引文件的生成时间。同时,设计一种文件压缩存储算法,对数据文件和索引文件进行压缩存储,有效减少了数据所占用的数据节点磁盘空间大小和名称节点内存空间占用大小。实验结果表明,相对于原始的HDFS数据存储方法、基准的文件归档方法HAR以及对比方法LHF,本文提出的LA方法在文件归档时间、名称节点内存占用、数据节点磁盘空间占用、文件访问时间等方面表现更好。 展开更多
关键词 HADOOP HDFS 小文件 归档方案 LZO算法
下载PDF
一种基于混合索引的HDFS小文件存储策略 被引量：4
15
作者 熊安萍 黄容 邹洋 《重庆邮电大学学报（自然科学版）》 CSCD 北大核心 2015年第1期97-102,共6页
Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用。针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于... Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用。针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标。实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载。实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销。 展开更多
关键词 Hadoop分布式文件系统(HDFS) 小文件 元数据服务器 缓存 混合索引
原文传递
Ceph系统中海量气象小文件存取性能优化方法 被引量：3
16
作者 陆小霞 王勇 雷晓春 《桂林电子科技大学学报》 2019年第1期61-66,共6页
为解决Ceph在处理海量气象小文件时,由于集群数据双倍写入会导致存储性能下降问题,提出了一种Ceph系统中海量气象小文件存取性能优化方法。该方法通过分析文件历史访问日志得到气象小文件间的关联概率,然后依据关联概率设计出文件合并... 为解决Ceph在处理海量气象小文件时,由于集群数据双倍写入会导致存储性能下降问题,提出了一种Ceph系统中海量气象小文件存取性能优化方法。该方法通过分析文件历史访问日志得到气象小文件间的关联概率,然后依据关联概率设计出文件合并算法将相关联的小文件合并后再存储到Ceph集群;访问文件时,根据文件块的利用率和相关率来衡量合并后小文件间的相关性,并根据其相关性进行文件预读取,减少用户与集群的交互以提高小文件的访问效率。实验表明,该方法与现有方法相比,能明显提高Ceph系统中海量气象小文件的存储效率和访问效率。 展开更多
关键词 Ceph分布式文件系统 小文件 相关性合并 预读取
下载PDF
基于HDFS的海量指纹数据云存储优化研究 被引量：2
17
作者 张宇翔 赵建民 +1 位作者 朱信忠 徐慧英 《浙江师范大学学报（自然科学版）》 CAS 2015年第2期179-184,共6页
HDFS设计之初只考虑到如何更好地处理大文件,并没有针对海量小文件进行优化,因此,当使用HDFS管理海量指纹数据小文件时会出现Name Node内存负载过重、上传及查询性能过低等问题.采用Sequence File序列化技术进行小文件的合并,并且对于... HDFS设计之初只考虑到如何更好地处理大文件,并没有针对海量小文件进行优化,因此,当使用HDFS管理海量指纹数据小文件时会出现Name Node内存负载过重、上传及查询性能过低等问题.采用Sequence File序列化技术进行小文件的合并,并且对于小文件合并、元数据存储、缓存策略等进行了针对性优化.实验证明,该优化方案可以有效地解决Name Node内存负载过重的问题,并且海量指纹数据小文件的上传和查询性能得到了提高. 展开更多
关键词 HDFS 小文件 Sequencefile 文件合并 元数据存储 缓存策略
下载PDF
一种基于HADOOP的办公文件存储方法 被引量：2
18
作者 杜继华 吴伟明 谷勇浩 《软件》 2012年第10期6-8,共3页
HADOOP分布式文件系统为解决分布式存储提供了良好的平台。为了良好的管理办公系统中的日常办公文件,针对办公文件占用空间小而数量多而导致的体积庞大的特点,系统应用HADOOP分布式文件系统,为了减少命名节点的内存过大,提出了使用二进... HADOOP分布式文件系统为解决分布式存储提供了良好的平台。为了良好的管理办公系统中的日常办公文件,针对办公文件占用空间小而数量多而导致的体积庞大的特点,系统应用HADOOP分布式文件系统,为了减少命名节点的内存过大,提出了使用二进制序列化合并小文件的方案,并设置合并器,采取闲时合并,忙时存在本地降低写操作时间。并根据文件的属性分类归并写入,可以在查询时避免不必要的遍历而降低速度,提高检索性能。通过测试文件合并时间、文件上传时间以及文件查找读取时间,本方法可以很好的处理办公文件的上传与读取,解决办公文件的存储问题。 展开更多
关键词 计算机应用技术 HADOOP 办公文件 小文件 顺序文件
下载PDF
一种面向海量高并发小文件数据的处理方法 被引量：2
19
作者 谭文贵 王琨 唐福林 《信息通信》 2017年第10期138-139,共2页
首先分析了当前海量高并发小文件数据处理的缺陷,文章阐述了通过在节点中设置临时虚拟空间的方式、改变文件系统锁机制、将多个节点中的多个并发操作合并为一次磁盘回写操作处理方法。提高了海量高并发小文件数据的并行处理效率,降低了... 首先分析了当前海量高并发小文件数据处理的缺陷,文章阐述了通过在节点中设置临时虚拟空间的方式、改变文件系统锁机制、将多个节点中的多个并发操作合并为一次磁盘回写操作处理方法。提高了海量高并发小文件数据的并行处理效率,降低了海量高并发小文件数据磁盘的读写压力,减轻了底层存储的磁盘读写压力,有效延长了底层存储的使用寿命。该方法进行的海量高并发小文件处理相关研究工作,对于后期提升海量并发小文件的处理能力和效率提供了参考依据。 展开更多
关键词 高并发 小文件 并行文件系统
下载PDF
Hadoop中处理海量小文件的方法 被引量：1
20
作者 李旭 李长云 +2 位作者 张清清 胡淑新 周玲芳 《计算机系统应用》 2015年第11期157-161,共5页
针对Hadoop中提供底层存储的HDFS对处理海量小文件效率低下、严重影响性能的问题.设计了一种小文件合并、索引和提取方案,并与原始的HDFS以及HAR文件归档方案进行对比,通过一系列实验表明,本文的方案能有效减少Namenode内存占用,提高HDF... 针对Hadoop中提供底层存储的HDFS对处理海量小文件效率低下、严重影响性能的问题.设计了一种小文件合并、索引和提取方案,并与原始的HDFS以及HAR文件归档方案进行对比,通过一系列实验表明,本文的方案能有效减少Namenode内存占用,提高HDFS的I/O性能. 展开更多
关键词 HADOOP HDFS 小文件 HDFS的I/O性能
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 5 下一页 到第 页
使用帮助 返回顶部