期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息

基于Spark的分布式网络日志处理系统的设计与实现 被引量：1

下载PDF
导出
摘要 通过用户浏览网页时的网络日志分析,可发现用户的一些浏览习惯,从而有针对性的对网站进行改进,给用户带来更好的体验。本文通过搭建多个虚拟机对Web日志进行离线分析,通过flume系统收集日志,利用Hadoop文件系统存储,SparkSQL进行离线分析,按照需求进行相应业务的统计的分析。
作者 芦成刚 王桂荣
机构地区 延边大学工学院
出处 《科学技术创新》 2021年第15期82-83,共2页 Scientific and Technological Innovation
基金 延边大学中青年科技计划项目(项目编号:延大科合字(2018)第11号)基于Spark的分布式网络日志处理系统的设计与实现 延边大学应用基础研究项目(项目编号:延大科合字(2021)第2号)基于VB.NET的房产中介管理系统的设计与实现。
关键词 WEB日志 flume系统 Hadoop文件系统 SparkSQl
分类号 TP393.08 [自动化与计算机技术—计算机应用技术]
  • 相关文献

参考文献4

二级参考文献91

  • 1Ghemawat S, Gobioff H, Leung S T. The Google file system[C]//proc of the 19th ACM Symp on Operating Systems Principles. New York: ACM, 2003: 29-43. 被引量：1
  • 2Dean J, Ghemawat S. Mapreduce , Simplified data processing on large clusters[C] jjProc of the 6th Symp on Operating System Design and Implementation. San Francisco: USE NIX Association, 2004: 137-150. 被引量：1
  • 3Schreier U, Pirahesh H, Agrawal R, et al. Alert: An architecture for transforming a passive DBMS into an active DBMS[C] jjproc of the 17th Int Conf on Very Large Data Bases. San Francisco, CA: Morgan Kaufmann, 1991: 469- 478. 被引量：1
  • 4Kao B, Garcia-Molina H. An overview of real-time database systems[GJ //Real Time Computing. Berlin: Springer, 1994: 261-282. 被引量：1
  • 5Belkin N J, Croft W B. Information filtering and information retrieval: Two sides of the same coin?[J]. Communications of the ACM, 1992, 35(12): 29-38. 被引量：1
  • 6Chandrasekaran S, Cooper 0, Deshpande A, et al. Telegraphcq , Continuous dataflow processing for an uncertain world[C/OL]//Proc of the 1st Biennial Conf on Innovative Data Systems Research. 2003[2014-11-11]. http://cidrdb. org/2003Proceedings. zip. 被引量：1
  • 7Arasu A, Babcock B, Babu S, et al. Stream: The stanford data stream management system COL]. 2004[2014-11-11]. http://ilpubs. stanford. edu , 8090/641/1/2004-20. pdf. 被引量：1
  • 8Cherniack M, Balakrishnan H, Balazinska M. Scalable distributed stream processing[C/OL]//Proc of the 1st Biennial Conf on Innovative Data Systems Research. 2003[2014-11-11]. http://cidrdb.org/2003Proceedings.zip. 被引量：1
  • 9Shah M A, Hellerstein J M, Brewer EA. Highly-available, fault-tolerant, parallel dataflows[C]//Proc of the ACM SIGMOD Int Conf on Management of Data. New York: ACM, 2004: 827-838. 被引量：1
  • 10Abadi D J, Ahmad Y, Balazinska M, et al. The design of the borealis stream processing engine[C/OL]//Proc of the 2nd Biennial Conf on Innovative Data Systems Research. 2005: 277-289[2014-11-11]. http://cidrdb. org/2005Proceedings. zip. 被引量：1

共引文献158

同被引文献7

引证文献1

二级引证文献2

科学技术创新
2021年 第15期

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部