期刊导航
期刊开放获取
cqvip
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
Spark和Flink平台大数据批量处理的性能分析
被引量：
6
1
作者
马黎
《中国电子科学研究院学报》
北大核心
2018年第2期191-195,213,共6页
为了研究Apache Spark和Apache Flink两个框架在进行批量大数据处理时的性能差异和相似性,分析Spark和Flink的引擎差异,重点对比了两个框架在运行机器学习算法的细节。比较的算法有：支持向量机（SVM）算法、线性回归（LR）算法和分布...
为了研究Apache Spark和Apache Flink两个框架在进行批量大数据处理时的性能差异和相似性,分析Spark和Flink的引擎差异,重点对比了两个框架在运行机器学习算法的细节。比较的算法有：支持向量机（SVM）算法、线性回归（LR）算法和分布式信息理论的特征选择（FS-DIT）算法,其中SVM和LR算法为平台固有算法,FS-DIT根据平台框架特点重新设计。三种机器学习算法的实验结果表明：Spark的性能优于Flink,且总体运行时长低于Flink。另外对Spark目前拥有的MLlib和ML性能也进行了分析研究。整个研究对新旧两种平台上的批处理应用具有一定指导作用。
展开更多
关键词
批量大数据处理
性能差异
APACHE
SPARK
APACHE
Flink
机器学习算法
下载PDF
职称材料
题名
Spark和Flink平台大数据批量处理的性能分析
被引量：
6
1
作者
马黎
机构
武汉大学计算机学院
商丘职业技术学院学报编辑部
出处
《中国电子科学研究院学报》
北大核心
2018年第2期191-195,213,共6页
基金
河南省教育厅高校重点科研课题(16B120003)
文摘
为了研究Apache Spark和Apache Flink两个框架在进行批量大数据处理时的性能差异和相似性,分析Spark和Flink的引擎差异,重点对比了两个框架在运行机器学习算法的细节。比较的算法有：支持向量机（SVM）算法、线性回归（LR）算法和分布式信息理论的特征选择（FS-DIT）算法,其中SVM和LR算法为平台固有算法,FS-DIT根据平台框架特点重新设计。三种机器学习算法的实验结果表明：Spark的性能优于Flink,且总体运行时长低于Flink。另外对Spark目前拥有的MLlib和ML性能也进行了分析研究。整个研究对新旧两种平台上的批处理应用具有一定指导作用。
关键词
批量大数据处理
性能差异
APACHE
SPARK
APACHE
Flink
机器学习算法
Keywords
batch
processing
of
big
data
performance
differences
Apache
Spark
Apache
Flink
machine
learning
algorithms
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
Spark和Flink平台大数据批量处理的性能分析
马黎
《中国电子科学研究院学报》
北大核心
2018
6
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
