-
题名Spark内存管理及缓存策略研究
被引量：13
- 1
-
-
作者
孟红涛
余松平
刘芳
肖侬
-
机构
国防科学技术大学计算机学院
-
出处
《计算机科学》
CSCD
北大核心
2017年第6期31-35,74,共6页
-
基金
863计划"面向大数据的内存计算关键技术与系统"子课题"基于内存计算的并行处理系统与研究"资助
-
文摘
Spark系统是基于Map-Reduce模型的大数据处理框架。Spark能够充分利用集群的内存,从而加快数据的处理速度。Spark按照功能把内存分成不同的区域:Shuffle Memory和Storage Memory,Unroll Memory,不同的区域有不同的使用特点。首先,测试并分析了Shuffle Memory和Storage Memory的使用特点。RDD是Spark系统最重要的抽象,能够缓存在集群的内存中;在内存不足时,需要淘汰部分RDD分区。接着,提出了一种新的RDD分布式权值缓存策略,通过RDD分区的存储时间、大小、使用次数等来分析RDD分区的权值,并根据RDD的分布式特征对需要淘汰的RDD分区进行选择。最后,测试和分析了多种缓存策略的性能。
-
关键词
大数据
Spark内存管理
RDD缓存
缓存策略
-
Keywords
Big data
Spark memory management
RDD cache
cache replacement policies
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
