期刊导航
期刊开放获取
cqvip
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
4
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
海量小文件系统的可移植操作系统接口兼容技术
被引量：
5
1
作者
陈博
何连跃
+2 位作者
严巍巍
徐
照
淼
徐
俊
《计算机应用》
CSCD
北大核心
2018年第5期1389-1392,1398,共5页
基于Hadoop分布式文件系统（HDFS）研发的海量小文件系统（SMDFS）遗留了HDFS不兼容可移植操作系统接口（POSIX）约束的问题，为解决SMDFS的这一问题，提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术。首先，通...
基于Hadoop分布式文件系统（HDFS）研发的海量小文件系统（SMDFS）遗留了HDFS不兼容可移植操作系统接口（POSIX）约束的问题，为解决SMDFS的这一问题，提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术。首先，通过设置数据暂存区来实现读写模式文件流的重定向，然后建立异步线程池模型，实现数据暂存区镜像文件的同步，从而完成用户层到存储层的所有POSIX相关的文件操作。此外，借助跳表结构的元数据缓存实现List目录等元数据操作效率优化。测试表明，相较于HDFS的Linux客户端，基于技术成果实现的SMDFS3．0的随机读性能有10倍以上的性能提升，顺序读和顺序写性能有约3～4倍的提升，随机写性能可以达到本地文件系统的20％，基于目录的元数据缓存的设计使目录的List操作效率提升近10倍。但是，由于用户空间文件系统（FUSE）挂栽的客户端会引入额外的内核态和用户态切换等带来的开销，因此SMDFS3．0的Linux客户端相对于系统的Java接口会有大约50％的性能损耗。
展开更多
关键词
海量小文件系统
分布式文件系统
可移植操作系统接口兼容
元数据缓存
云存储
下载PDF
职称材料
云计算环境下SaaS服务可伸缩性评估方法研究
被引量：
5
2
作者
张涛
燕静
+3 位作者
徐
照
淼
杨艳丽
朱传曦
成静
《西北工业大学学报》
EI
CAS
CSCD
北大核心
2014年第6期998-1000,共3页
针对云计算环境下Saa S服务可伸缩性的分析评估问题,通过分析Saa S服务伸缩性需求和特点,给出其可伸缩性定义,并且提出一种新的可伸缩性评估模型和度量指标,具体包括:资源利用率、资源生产率、收敛性。最后,基于亚马逊EC2云计算平台,对...
针对云计算环境下Saa S服务可伸缩性的分析评估问题,通过分析Saa S服务伸缩性需求和特点,给出其可伸缩性定义,并且提出一种新的可伸缩性评估模型和度量指标,具体包括:资源利用率、资源生产率、收敛性。最后,基于亚马逊EC2云计算平台,对评估模型和方法进行实例验证。
展开更多
关键词
性能
服务质量
资源分配
可扩展性
稳定性
可伸缩性
云计算
云测试
服务质量等级(
SLA)
SAAS服务
下载PDF
职称材料
海量文件系统中基于特征实现文件多维度浏览
被引量：
2
3
作者
贺扬
何连跃
+2 位作者
陈博
徐
俊
徐
照
淼
《计算机工程与科学》
CSCD
北大核心
2017年第5期849-854,共6页
SMDFS可以高效地管理百亿级数量文件。然而针对照片、音乐等海量数据,往往需要从多个维度快速浏览文件,基于目录结构管理海量文件的传统文件组织方式很难满足这一要求。在SMDFS文件系统基础之上,为文件引入特征属性,并提出基于特征的海...
SMDFS可以高效地管理百亿级数量文件。然而针对照片、音乐等海量数据,往往需要从多个维度快速浏览文件,基于目录结构管理海量文件的传统文件组织方式很难满足这一要求。在SMDFS文件系统基础之上,为文件引入特征属性,并提出基于特征的海量小文件倒排索引技术和分布索引技术,使SMDFS可根据多个特征快速浏览文件。实验数据表明,支持特征的SMDFS能为海量小文件提供高效管理和多维度快速浏览能力,同时基于文件目录结构访问海量小文件的性能并没有明显下降。
展开更多
关键词
海量小文件
检索
倒排索引
动态重构
下载PDF
职称材料
海量小文件系统中基于聚合单元的空间回收机制
被引量：
1
4
作者
徐
俊
何连跃
+2 位作者
严巍巍
陈博
徐
照
淼
《计算机应用》
CSCD
北大核心
2018年第A01期108-111,共4页
由于开源分布式文件系统HDFS不支持随机读写,基于HDFS实现的分布海量小文件系统SMDFS只支持聚合空间的删除,但不支持文件粒度的删除。在分析SMDFS文件删除行为基础上,采用元数据实时删除和事后存储空间碎片整理结合的删除思路。由于SMDF...
由于开源分布式文件系统HDFS不支持随机读写,基于HDFS实现的分布海量小文件系统SMDFS只支持聚合空间的删除,但不支持文件粒度的删除。在分析SMDFS文件删除行为基础上,采用元数据实时删除和事后存储空间碎片整理结合的删除思路。由于SMDFS不支持从数据文件获取其中的未删除小文件,提出聚合单元的概念,每个数据文件对应一个聚合单元,借此可获得数据文件中所有的未删除的小文件和存储空间碎片。通过迁移未删除小文件和删除整个数据文件,实现存储空间碎片整理。设计了Master-Worker分布式空间回收程序框架,实现了SMDFS的文件删除功能。测试表明,支持文件删除的海量小文件系统SMDFS2. 1与原有的SMDFS2. 0相比,文件的读写性能没有明显下降;碎片整理时系统写性能降低30%,系统读性能降低18%。
展开更多
关键词
海量小文件系统
HADOOP分布式文件系统
聚合单元
空间回收
SMDFS
下载PDF
职称材料
题名
海量小文件系统的可移植操作系统接口兼容技术
被引量：
5
1
作者
陈博
何连跃
严巍巍
徐
照
淼
徐
俊
机构
国防科技大学计算机学院
北京网云飞信息技术有限公司
出处
《计算机应用》
CSCD
北大核心
2018年第5期1389-1392,1398,共5页
文摘
基于Hadoop分布式文件系统（HDFS）研发的海量小文件系统（SMDFS）遗留了HDFS不兼容可移植操作系统接口（POSIX）约束的问题，为解决SMDFS的这一问题，提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术。首先，通过设置数据暂存区来实现读写模式文件流的重定向，然后建立异步线程池模型，实现数据暂存区镜像文件的同步，从而完成用户层到存储层的所有POSIX相关的文件操作。此外，借助跳表结构的元数据缓存实现List目录等元数据操作效率优化。测试表明，相较于HDFS的Linux客户端，基于技术成果实现的SMDFS3．0的随机读性能有10倍以上的性能提升，顺序读和顺序写性能有约3～4倍的提升，随机写性能可以达到本地文件系统的20％，基于目录的元数据缓存的设计使目录的List操作效率提升近10倍。但是，由于用户空间文件系统（FUSE）挂栽的客户端会引入额外的内核态和用户态切换等带来的开销，因此SMDFS3．0的Linux客户端相对于系统的Java接口会有大约50％的性能损耗。
关键词
海量小文件系统
分布式文件系统
可移植操作系统接口兼容
元数据缓存
云存储
Keywords
mass small file system
distributed file system
Portable Operating System Interface of UNIX （POSIX） compatibility
metadata cache
cloud storage
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
云计算环境下SaaS服务可伸缩性评估方法研究
被引量：
5
2
作者
张涛
燕静
徐
照
淼
杨艳丽
朱传曦
成静
机构
西北工业大学软件与微电子学院
西北工业大学计算机学院
出处
《西北工业大学学报》
EI
CAS
CSCD
北大核心
2014年第6期998-1000,共3页
基金
国家自然科学基金(61103003)
航天科技支撑计划(2014HTXGD)资助
文摘
针对云计算环境下Saa S服务可伸缩性的分析评估问题,通过分析Saa S服务伸缩性需求和特点,给出其可伸缩性定义,并且提出一种新的可伸缩性评估模型和度量指标,具体包括:资源利用率、资源生产率、收敛性。最后,基于亚马逊EC2云计算平台,对评估模型和方法进行实例验证。
关键词
性能
服务质量
资源分配
可扩展性
稳定性
可伸缩性
云计算
云测试
服务质量等级(
SLA)
SAAS服务
Keywords
bandwidth, computer software, convergence of numerical methods, cost functions, hard-disk storage,monitoring, network performance, productivity, program processors, quality of service, resource allocation, response time （ control systems ）, scalability, Stability, vectors
cloud computing, cloud testing,service level agreement （SEA）, software-as-a-service （SaaS）
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
海量文件系统中基于特征实现文件多维度浏览
被引量：
2
3
作者
贺扬
何连跃
陈博
徐
俊
徐
照
淼
机构
国防科学技术大学计算机学院
出处
《计算机工程与科学》
CSCD
北大核心
2017年第5期849-854,共6页
文摘
SMDFS可以高效地管理百亿级数量文件。然而针对照片、音乐等海量数据,往往需要从多个维度快速浏览文件,基于目录结构管理海量文件的传统文件组织方式很难满足这一要求。在SMDFS文件系统基础之上,为文件引入特征属性,并提出基于特征的海量小文件倒排索引技术和分布索引技术,使SMDFS可根据多个特征快速浏览文件。实验数据表明,支持特征的SMDFS能为海量小文件提供高效管理和多维度快速浏览能力,同时基于文件目录结构访问海量小文件的性能并没有明显下降。
关键词
海量小文件
检索
倒排索引
动态重构
Keywords
massive small files
search
inverted index
dynamic reconstruction
分类号
TP393.027.2 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
海量小文件系统中基于聚合单元的空间回收机制
被引量：
1
4
作者
徐
俊
何连跃
严巍巍
陈博
徐
照
淼
机构
国防科技大学计算机学院
北京网云飞信息技术有限公司
出处
《计算机应用》
CSCD
北大核心
2018年第A01期108-111,共4页
文摘
由于开源分布式文件系统HDFS不支持随机读写,基于HDFS实现的分布海量小文件系统SMDFS只支持聚合空间的删除,但不支持文件粒度的删除。在分析SMDFS文件删除行为基础上,采用元数据实时删除和事后存储空间碎片整理结合的删除思路。由于SMDFS不支持从数据文件获取其中的未删除小文件,提出聚合单元的概念,每个数据文件对应一个聚合单元,借此可获得数据文件中所有的未删除的小文件和存储空间碎片。通过迁移未删除小文件和删除整个数据文件,实现存储空间碎片整理。设计了Master-Worker分布式空间回收程序框架,实现了SMDFS的文件删除功能。测试表明,支持文件删除的海量小文件系统SMDFS2. 1与原有的SMDFS2. 0相比,文件的读写性能没有明显下降;碎片整理时系统写性能降低30%,系统读性能降低18%。
关键词
海量小文件系统
HADOOP分布式文件系统
聚合单元
空间回收
SMDFS
Keywords
mass small file system
Hadoop Distributed File System （HDFS）
aggregation unit
space reclamation
SMDFS
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
海量小文件系统的可移植操作系统接口兼容技术
陈博
何连跃
严巍巍
徐
照
淼
徐
俊
《计算机应用》
CSCD
北大核心
2018
5
下载PDF
职称材料
2
云计算环境下SaaS服务可伸缩性评估方法研究
张涛
燕静
徐
照
淼
杨艳丽
朱传曦
成静
《西北工业大学学报》
EI
CAS
CSCD
北大核心
2014
5
下载PDF
职称材料
3
海量文件系统中基于特征实现文件多维度浏览
贺扬
何连跃
陈博
徐
俊
徐
照
淼
《计算机工程与科学》
CSCD
北大核心
2017
2
下载PDF
职称材料
4
海量小文件系统中基于聚合单元的空间回收机制
徐
俊
何连跃
严巍巍
陈博
徐
照
淼
《计算机应用》
CSCD
北大核心
2018
1
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
