期刊文献+

基于Spark的高速收费站大数据系统的设计与实现 被引量:1

下载PDF
导出
摘要 本文从软件架构设计和系统开发的角度,介绍了使用Spark大数据技术分析处理高速公路收费站海量流水数据,并对系统架构进行了详细介绍,对数据收集、分析、处理等环节进行了深入分析,对系统建设过程中遇到的问题给出了解决思路,最后总结了系统处理过程中的经验教训。
作者 李小明
出处 《中国交通信息化》 2019年第2期94-96,共3页 China ITS Journal
  • 相关文献

参考文献10

  • 1罗东健..大规模存储系统高可靠性关键技术研究[D].华中科技大学,2011:
  • 2祁文田..基于GPS数据的出租车载客点空间特征分析[D].吉林大学,2013:
  • 3唐振坤..基于Spark的机器学习平台设计与实现[D].厦门大学,2014:
  • 4邱荣财..基于Spark平台的CURE算法并行化设计与应用[D].华南理工大学,2014:
  • 5梁彦..基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D].中山大学,2014:
  • 6杨志伟..基于Spark平台推荐系统研究[D].中国科学技术大学,2015:
  • 7李爽..基于Spark的数据处理分析系统的设计与实现[D].北京交通大学,2015:
  • 8兰见春..基于Spark的犯罪预警分析系统的设计与实现[D].江西财经大学,2018:
  • 9许礼捷.基于CentOS的Hadoop分布式集群的构建方法研究[J].沙洲职业工学院学报,2016,19(1):23-28. 被引量:4
  • 10胡俊,胡贤德,程家兴.基于Spark的大数据混合计算模型[J].计算机系统应用,2015,24(4):214-218. 被引量:56

二级参考文献14

  • 1夏俊鸾,邵赛赛.Spark Streaming: 大规模流式数据处理的新贵. http://www.csdn.net/article/2014-01-28/2818282-Spark -Streaming-big-data. 2014. 被引量:1
  • 2Dean J, Ghemawat S. MapReduce: simplified data processing on large clusters. Communications of the ACM, 2008, 3(51-1): 107-113. 被引量:1
  • 3耿益锋,陈冠诚.Impala:新一代开源大数据分析引擎. http://www.csdn.net/article/2013-12-04/2817707-ImpalaBig- Data-Engine. 2013.12. 被引量:1
  • 4Strom. http://storm.incubator.apache.org/. 2014. 被引量:1
  • 5Zaharia M, Chowdhury M, Das T, et al. Resilient distributed datasets: A fault-tolerant abstration for in-memory cluster computing. Proc. of the 9th USENIX Conference on NetWorked System Design and Implementation. 2012. 2-16. 被引量:1
  • 6Gonzalez J, Low Y, Gu H. PowerGraph: Distributed garph-p arallel computation on natural graphs. Proc. of the 10th USENIX Symposium on Operating Systems Design and Implementatin. 2012. 17-30. 被引量:1
  • 7Zaharia M, Chowdhury M, Franklin MJ, Shenker S, Stoica I. Spark: Cluster Computing with Working Sets. Technical Report No. UCB/ EECS- 2010-53May 7, 2010. 被引量:1
  • 8Xin R, Rosen J, et al. Shark: SQL and Rich Analytics at Scale. Technical Report UCB/EECS. 2012.11. 被引量:1
  • 9Engle C, Lupher A, et al. Shark: Fast Data Analysis Using Coarse-grained Distributed Memory. SIGMOD 2012. May 2012. 被引量:1
  • 10Zaharia M, Das T, Li HY, Shenker S, Stoica I. Discretized streams: An efficient and fault-tolerant model for stream. Proc. on Large Clusters. HotCloud 2012. June 2012. 被引量:1

共引文献58

同被引文献5

引证文献1

二级引证文献2

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部