题名 基于Kubernetes的水平弹性扩缩容系统
被引量：7
1
作者
屠 雪 真 杨海潮
机构
河南大学计算机与信息工程学院 中兴通讯股份有限公司
出处
《计算机与现代化》
2019年第7期25-31,共7页
基金
深圳市科技创新委员会科技应用示范项目(sf20170036)
文摘
Kubernetes的诞生,降低了应用开发者对基础架构和运维团队的依赖,为其提供了强大的工具来编排和调度容器及虚拟机,已经成为分布式集群系统开发及管理的事实标准。Kubernetes通过核心组件HPA(Horizontal Pod Autoscaler)监测集群中CPU和内存的使用情况,并依据这些指标来对微服务集群进行扩容和缩容。但是这些简单的度量指标不能满足实际应用的扩缩容诉求,虽然在社区的最新版本中已经做出了改进,实际效果依然差强人意。本文在原生平台的基础上,设计一种叠加的弹性扩缩容系统E-HPA,可以通过灵活简易的配置方式提供丰富的用户可定制的度量指标,弥补Kubernetes在水平弹性扩缩容方面的缺陷和不足;阐述该系统的设计思想和具体实现细节,并以电信业务应用为例,验证其实验效果。
关键词
Kubernetes 基础架构 运维 容器 分布式集群 弹性扩缩容
Keywords
Kubernetes infrastructure operation container distributed cluster elastic expansion and contraction
分类号
TP393.09
[自动化与计算机技术—计算机应用技术]
题名 一种优化的Key-Value型NoSQL系统
被引量：4
2
作者
屠 雪 真 屠 要峰陈小强
机构
河南大学计算机与信息工程学院 中兴通讯股份有限公司
出处
《计算机工程》
CAS
CSCD
北大核心
2019年第6期52-59,共8页
基金
国家重点研发计划(2018YFB1003300) 深圳市科技应用示范项目(sf20170036)
文摘
Key-Value(KV)是NoSQL系统中使用较为广泛的一种存储模型。针对当前主流NoSQL系统存在检索功能有限、内存容量小和宕机等问题,提出一种KV型NoSQL系统设计方法。使用可持久化的混合主索引结构解决范围查询和快速重启,采用数据分布算法和内外存混合存储技术,通过数据在内存和固态硬盘之间的智能调度,实现了大规模数据的高效存取和低成本存储。实验结果表明,与Redis相比,对于典型大小Value,该系统在单节点读写性能上提升约8倍,配置成本降低约3/4,在海量数据的低成本高效存储上有明显优势。
关键词
NoSQL系统 多核架构 固态硬盘 持久化存储 数据分布 混合存储
Keywords
NoSQL system multi-core architecture Solid State Disk(SSD) persistent storage data distribution hybrid storage
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 一种海量小文件对象存储优化方案
被引量：4
3
作者
屠 雪 真 黄震江
机构
河南大学计算机与信息工程学院 南京中兴新软件公司
出处
《计算机技术与发展》
2019年第8期31-36,共6页
基金
国家重点研发计划项目(2018YFB1003300)
文摘
在海量小文件存储场景下,传统分布式文件系统存在元数据服务器性能瓶颈、存储空间浪费严重、磁盘I/O效率低等问题。业界主要采用小文件聚合的方法解决这个问题,但现有研究依赖于从聚合结构到小文件的二次映射和查表检索等传统方法。文中提出一种基于对象文件系统的海量小文件优化方案,根据局部性特征将小文件聚合为文件组,使用算法直接进行对象数据存储位置的分布与定位,将低效的查表检索方式改变为高效快捷的“计算检索”方式,这更加适合大规模分布式系统的设计;在客户端采用小文件数据大粒度预读技术,聚合小粒度I/O为大粒度I/O,提升了磁盘访问效率,使用页面热缓存和温缓存两级队列管理及识别热数据,并利用文件的局部性特征提升缓存命中率。实验结果表明,在海量小文件随机读写场景下性能提升50%左右。
关键词
对象文件系统 小文件 元数据 聚合结构 查表索引 预读
Keywords
object file system small file meta data aggregate structure lookup table index read ahead
分类号
TP31
[自动化与计算机技术—计算机软件与理论]
题名 分布式系统高效升级方法研究
被引量：2
4
作者
屠 雪 真 陈小强
机构
河南大学计算机与信息工程学院 中兴通讯股份有限公司
出处
《微型电脑应用》
2019年第6期42-46,共5页
基金
深圳市级基金(sf20170036)
文摘
随着移动互联网、云计算等技术的发展,分布式系统以其易扩展、高可靠、灵活性强等优点成为了应用软件系统的首选架构.然而大型分布式系统的更新升级存在着过程复杂、时间长、新旧版本共存等问题.从研究分析分布式系统更新升级的特点和关键技术点出发,结合电信大型分布式系统实践中遇到的问题,提出了一种自动化的升级和数据迁移方法,采用逻辑顺序号保证数据的一致性,采用逻辑机架实施分区升级,设计了一种接力赛机制减少升级期间的数据迁移量,解决了分布式系统升级耗时长风险大的问题.实验结果表明,与现有的升级方式相比,分区升级方法缩短升级时间50%左右,将对业务的影响时长减小到秒级,提升了升级效率,并有效降低了升级风险.
关键词
移动互联网 云计算 分布式系统 高可靠 版本升级
Keywords
Mobile Internet Cloud computing Distributed system High reliability Version upgrade
分类号
TP393
[自动化与计算机技术—计算机应用技术]
题名 分布式缓存系统客户端关键技术研究
被引量：1
5
作者
屠 雪 真
机构
河南大学计算机与信息工程学院
出处
《电脑编程技巧与维护》
2019年第4期4-9,12,共7页
文摘
分布式缓存作为支撑海量数据处理的关键技术方案,近年来受到了广泛关注和应用。从分布式缓存的工程实践出发,研究分布式缓存系统的客户端关键技术,提出了一种针对分布式缓存系统客户端的优化设计,通过异步多线程、双缓冲队列、连接池组和精准重试等设计,较好地解决了抗突发业务量冲击、重试雪崩效应等痛点,提高了客户端的适应能力和性能。实验证明,相比原客户端,采用优化技术的客户端能更好地适应突发业务量的冲击。
关键词
分布式缓存 客户端 NoSQL技术 云计算 多线程
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
TP333
[自动化与计算机技术—计算机科学与技术]
题名 一种优化的内核态文件发送方法
6
作者
屠 雪 真
机构
河南大学计算机与信息工程学院
出处
《计算机与现代化》
2019年第5期13-18,共6页
基金
深圳市科技创新委员会科技应用示范项目(sf20170036)
文摘
传统的Linux内核协议栈已不能满足大规模数据处理系统对网络传输越来越高的性能要求。现有很多研究是将原来在内核态实现的协议和接口移到用户态去实现,但针对内核态优化的研究比较少。在研究分析Linux内核态文件发送接口sendfile()处理流程和管理机制的基础上,本文提出一种内核态文件发送优化方法,采用自动负载均衡的定长内存池管理、CPU亲和性等技术,对内核态文件发送接口进行优化改造。解决了系统在高负载情况下内存碎片、内存耗尽及CPU抖动的问题,有效提升了数据传输性能。实验结果表明,在高并发、高吞吐场景下,采用本文优化方法后,系统运行更稳定,内核态CPU占有率下降50%。
关键词
大规模数据处理 用户态协议栈 负载均衡 内存池管理 CPU亲和性
Keywords
large-scale data processing user state protocol stack load balance memory pool management CPU affinity
分类号
TP393
[自动化与计算机技术—计算机应用技术]
题名 一种SSD存储系统中的先应式垃圾回收算法
7
作者
屠 雪 真 黄震江 陈正光
机构
河南大学计算机与信息工程学院 中兴通讯股份有限公司
出处
《电信科学》
2019年第5期86-96,共11页
基金
科技部云计算和大数据重点专项基金资助项目(No.2018YFB1003300) 深圳市科技计划项目(No.SF20170036)~~
文摘
提出了一种基于预测的先应式垃圾回收算法,首先根据不同的热度因子对数据进行读、写热度分离,然后对未来将达到的不同类型的页面分配请求(page allocation request,PAR)数量进行上位和下位预测,在满足页面分配请求PAR下位预测的同时,最大程度地满足PAR上位预测需求,优化了WA问题,减少了不必要的有效数据迁移,从而最大化垃圾回收效用。对此问题定义了数学模型,并给出了一种获取近似最优解的算法,对模型适用场景进行了分析。实践结果表明,本算法能够获取最大收益,提升SSD读写性能并降低成本。
关键词
SSD 垃圾回收 数据迁移 写入放大 碎片整理
Keywords
solid state drive garbage collection data migration write amplification defragmentation
分类号
TP333
[自动化与计算机技术—计算机系统结构]
