-
题名Ceph系统中海量气象小文件存取性能优化方法
被引量：3
- 1
-
-
作者
陆小霞
王勇
雷晓春
-
机构
桂林电子科技大学信息与通信学院
桂林电子科技大学计算机与信息安全学院
桂林电子科技大学广西云计算与大数据协同创新中心
-
出处
《桂林电子科技大学学报》
2019年第1期61-66,共6页
-
基金
国家自然科学基金(61662018,61661015)
中国博士后科学基金(2016M602922XB)
广西云计算与大数据协同创新中心项目(YDQ17001)
-
文摘
为解决Ceph在处理海量气象小文件时,由于集群数据双倍写入会导致存储性能下降问题,提出了一种Ceph系统中海量气象小文件存取性能优化方法。该方法通过分析文件历史访问日志得到气象小文件间的关联概率,然后依据关联概率设计出文件合并算法将相关联的小文件合并后再存储到Ceph集群;访问文件时,根据文件块的利用率和相关率来衡量合并后小文件间的相关性,并根据其相关性进行文件预读取,减少用户与集群的交互以提高小文件的访问效率。实验表明,该方法与现有方法相比,能明显提高Ceph系统中海量气象小文件的存储效率和访问效率。
-
关键词
Ceph分布式文件系统
小文件
相关性合并
预读取
-
Keywords
ceph distributed file system
small files
correlation merger
prepare reading
-
分类号
TP302
[自动化与计算机技术—计算机系统结构]
-
