-
题名云存储多卷负载均衡的LSM键值存储系统
- 1
-
-
作者
徐鹏
周元辉
陈书宁
刘玮
李大平
万继光
-
机构
华中科技大学计算机科学与技术学院武汉光电国家研究中心
北京平凯星辰科技发展有限公司
-
出处
《小型微型计算机系统》
CSCD
北大核心
2023年第10期2157-2165,共9页
-
基金
国家自然科学基金面上项目(62072196)资助
国家自然科学基金创新研究群体项目(61821003)资助.
-
文摘
单个云存储卷的IOPS和带宽性能受到限制,通过组合使用多个云存储卷的方式能以较低的费用获得更高的性能.但是,现有工作缺乏针对多云存储卷优化的LSM键值存储系统的探究.首先将现有多路径或哈希负载均衡的方案应用于使用多云存储卷的LSM键值存储系统,相对单个大容量卷的性能有显著提升;但是,现有多卷负载均衡方案的写数据策略,无法感知LSM键值存储系统的数据布局特点,导致各成员卷之间仍然存在负载不均衡的问题,不能充分发挥出多卷的最大性能.为此,提出一种云存储多卷负载均衡的LSM键值存储系统TANGO.在LSM键值存储系统由compaction新生成的sstable落盘之前,先根据统计的各个成员卷的关键信息,判断sstable与各成员卷的键范围重叠情况,然后选择键范围重叠最小的成员卷进行写入;针对读为主的负载,无法通过compaction达到负载均衡,TANGO采用后台数据迁移方式进一步达到负载均衡.在亚马逊云存储卷上的评估表明,相比相同存储容量的单卷,采用了TANGO方案的同等容量的多卷可提高7倍左右的性能;相比其它多卷方案,TANGO能提升20%以上的性能,且各成员卷间负载更加均衡.
-
关键词
云存储
多卷
键值存储
日志结构归并树
负载均衡
-
Keywords
cloud storage
multiple volume
key-value store
log-structured merge tree
workload balance
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
