Spark大数据处理平台的构建及应用被引量：2

下载PDF

导出

摘要在大数据时代,Spark的应用能够为大规模数据分析处理提供可靠性保障。基于此,本文对Spark展开了分析,从平台架构、功能模块组成等方面提出了Spark大数据处理平台的构建方案,并从数据采集和资源调度两方面探讨了平台的应用方法,为关注这一话题的人们提供参考。

作者王玉

机构地区河源职业技术学院

出处《大众标准化》 2019年第18期28-29,共2页 Popular Standardization

关键词 SPARK 大数据处理平台资源调度

分类号 TP311.13 [自动化与计算机技术—计算机软件与理论]

引文网络
相关文献

参考文献3

1刘佳耀,王佳斌.Slope One-BI算法的改进及其在大数据平台的并行化[J].华侨大学学报（自然科学版）,2019,40(6):786-792. 被引量：7
2翁利国,陈杰,汪宇杰,吴亦灵.基于Spark平台的资源调度策略研究现状[J].电脑知识与技术,2019,15(1):14-16. 被引量：4
3吴天雄,陈兴蜀,罗永刚.大数据平台下应用程序保护机制的研究与实现[J].信息网络安全,2019(1):68-75. 被引量：5

二级参考文献26

1董渊,任恺,王生原,张素琴.字节码虚拟机的构造和验证[J].软件学报,2010,21(2):305-317. 被引量：2
2杨阳,向阳,熊磊.基于矩阵分解与用户近邻模型的协同过滤推荐算法[J].计算机应用,2012,32(2):395-398. 被引量：51
3毛典辉.基于MapReduce的Canopy-Kmeans改进算法[J].计算机工程与应用,2012,48(27):22-26. 被引量：65
4闫永刚,马廷淮,王建.KNN分类算法的MapReduce并行化实现[J].南京航空航天大学学报,2013,45(4):550-555. 被引量：21
5尹成祥,张宏军,张睿,綦秀利,王彬.一种改进的K-Means算法[J].计算机技术与发展,2014,24(10):30-33. 被引量：14
6林常航,郭文忠,陈煌宁.针对Hadoop异构集群节点性能的数据分配策略[J].小型微型计算机系统,2015,36(1):83-88. 被引量：10
7陶永才,李文洁,石磊,刘磊,卫琳,曹仰杰.基于负载均衡的Hadoop动态延迟调度机制[J].小型微型计算机系统,2015,36(3):445-449. 被引量：5
8马瑞敏,卞艺杰,陈超,吴慧.基于Hadoop的电子商务个性化推荐算法——以电影推荐为例[J].计算机系统应用,2015,24(5):111-117. 被引量：12
9汪永旗,王惠娇.旅游大数据的MapReduce客户细分应用[J].华侨大学学报（自然科学版）,2015,36(3):292-296. 被引量：7
10汪正康,周鹏,肖俊超,武延军.基于SDN的数据中心网络资源调度机制[J].计算机系统应用,2015,24(8):212-218. 被引量：6

共引文献13

1邱军,左锋,胡冰.基于“互联网+”的医院网络的安全规划与建设[J].信息网络安全,2020(S02):78-81. 被引量：3
2谢碧英.大数据时代下机房管理与运维工作优化和改进[J].信息网络安全,2020(S02):70-73. 被引量：5
3廖方圆,陈剑锋,甘植旺.人工智能驱动的关键信息基础设施防御研究综述[J].计算机工程,2019,45(7):181-187. 被引量：13
4任女尔,魏金津,蔡建军.基于Ambari的数据处理平台[J].电脑知识与技术,2019,15(11):1-5. 被引量：2
5魏学锋.基于访问热点预测的油田大数据负载均衡研究[J].电脑知识与技术,2020,16(12):14-15. 被引量：1
6李瑞吉.基于大数据技术 BI 仓储系统平台建设[J].广东蚕业,2019,53(12):55-55.
7李瑞吉.基于实时数据驱动的BI仓储系统开发价值分析[J].产业与科技论坛,2020,19(19):51-52. 被引量：1
8李军华,丁宪成.虚拟化网络中的异常大数据剔除算法仿真[J].计算机仿真,2021,38(10):410-413.
9王宏,嵇绍国.大数据分析的现实应用及发展趋势研究[J].信息网络安全,2021(S01):134-138. 被引量：4
10蔡宇翔,王佳斌,郑天华.Spark 平台下基于加权词向量的文本分类方法[J].现代计算机,2022,28(3):25-30.

同被引文献26

1江永渡,程德生,赵志武,王梨,江峰.基于Spark框架的大数据计算平台[J].网络安全技术与应用,2020,0(3):65-66. 被引量：3
2于建涛,刘圣东,赖灵伟,吕同轩,王嘉浩,高小雨,惠毅翔,侯君瑶,殷童,郭茂祖.基于Spark的转录组大数据并行处理方法[J].计算机应用研究,2020,37(S02):176-180. 被引量：2
3卜尧,吴斌,陈玉峰,白德盟.BDAP——一个基于Spark的数据挖掘工具平台[J].中国科学技术大学学报,2017,47(4):358-368. 被引量：9
4陈平阳.浅析基于Spark技术的网络安全大数据分析平台[J].福建电脑,2017,33(5):142-143. 被引量：3
5黄震,钱育蓉,范迎迎,杜娇.Spark下遥感大数据特征提取的加速策略[J].计算机工程与设计,2017,38(12):3279-3283. 被引量：7
6车宝真,蔚承建,万夕里,巩绪福.基于Spark平台的心电大数据分析处理[J].计算机工程与设计,2018,39(1):108-114. 被引量：9
7曾志强,何小东,王颖,吴鑫.基于Hadoop和Spark的森林火灾混合大数据分析系统研究[J].世界林业研究,2018,31(2):55-59. 被引量：16
8宋维维,夏绍模,李赞.基于SPARK大数据处理平台的图书馆智慧服务探索与实践[J].情报科学,2018,36(6):45-49. 被引量：19
9吴信东,嵇圣硙.MapReduce与Spark用于大数据分析之比较[J].软件学报,2018,29(6):1770-1791. 被引量：75
10刘萍.基于Hadoop与Spark的高校校园大数据平台研究[J].软件工程,2018,21(5):15-18. 被引量：9

引证文献2

1吴岳.通过HiBench基准测试比较Hadoop与Spark的性能[J].电脑与信息技术,2021,29(2):79-81. 被引量：2
2张海峰,魏可欣.一种基于Spark大数据处理平台的查询方法[J].南京邮电大学学报（自然科学版）,2021,41(4):82-90. 被引量：4

二级引证文献6

1郑灿,廖可非,欧阳缮,谢宁波,蒋俊正.基于Spark的合成孔径雷达压缩感知分布式成像[J].科学技术与工程,2022,22(10):4005-4010. 被引量：3
2涂志炜.基于“互联网+”时代背景下智慧医院管理智能化、信息化建设与实践[J].通讯世界,2022,29(7):128-130.
3朱毓.基于Hadoop与Spark的大数据处理平台的构建研[J].互联网周刊,2023(7):87-89. 被引量：3
4李磊,王云,邓洪波,梁志明.Spark云平台电力负载预测系统的设计与实现[J].实验室研究与探索,2023,42(5):41-45. 被引量：1
5张凤,卢居辉,朱海勇,吴文.一种Spark轻量级客户端实现方法研究[J].河南科技,2023,42(15):19-24. 被引量：1
6林峰.基于Docker容器与Spark技术的分布式判题系统[J].龙岩学院学报,2023,41(5):21-26.

1陈丹晖.构建铁路数据通信网骨干网的网络安全管理中心[J].铁道通信信号,2020,56(4):69-72. 被引量：6
2庞建哲,徐莹,陈赤,刘垒,姜鹏.基于物联网技术的航品物料全生命周期管理[J].创新世界周刊,2018(9):102-110.
3储祝君.基于物联网的智能电网监控系统构建[J].电子技术与软件工程,2020(6):227-229. 被引量：4
4王鸥,李巍,郑善奇,张东芳,高宇.基于云计算在电网数据防泄漏技术中的应用[J].卫星电视与宽带多媒体,2020(6):93-95. 被引量：2

大众标准化

2019年第18期

浏览历史

内容加载中请稍等...

Spark大数据处理平台的构建及应用被引量：2

参考文献3

二级参考文献26

共引文献13

同被引文献26

引证文献2

二级引证文献6

相关作者

相关机构

相关主题

浏览历史

Spark大数据处理平台的构建及应用 被引量：2

参考文献3

二级参考文献26

共引文献13

同被引文献26

引证文献2

二级引证文献6

相关作者

相关机构

相关主题

浏览历史

Spark大数据处理平台的构建及应用被引量：2