-
题名一种分布式日志采集与分析系统
被引量：6
- 1
-
-
作者
张宏海
刘亚宁
-
机构
中国民航信息网络股份有限公司
民航旅客服务智能化应用技术重点实验室
-
出处
《信息技术与信息化》
2022年第6期87-90,共4页
-
文摘
随着业务增长,服务器端的机器数量也在不断扩张,对于集群日志进行实时的采集和分析就变得越来越复杂,业界出现了许多基于日志数据处理的平台,但目前使用最广泛的是ELK平台。基于开源的ELK(elasticsearch、logstash和kibana)作为系统框架,实现了一种分布式日志采集与分析系统,完成对服务器产生的海量日志进行数据收集、处理、查询和可视化的构建。系统分为四个部分,包括数据收集、数据处理、数据存储以及数据展示,系统中每个部分都具备横向扩展的能力,具备高可用的机制,可以根据不同的维度和条件实现近实时的高效数据查询和检索。
-
关键词
日志文件
日志数据收集
日志数据分析
日志数据处理
ELK平台
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
-
题名数据断层分析在广播电台数据处理中的应用
被引量：3
- 2
-
-
作者
徐俊
夏骄雄
周时强
-
机构
上海广播电视台技术运营中心
上海大学计算机工程与科学学院
上海市教育委员会信息中心
-
出处
《计算机应用与软件》
CSCD
2016年第9期38-42,158,共6页
-
基金
国家自然科学基金项目(40976108
61303097)
+2 种基金
上海市重点学科建设项目(J50103)
上海大学研究生创新基金项目(SHUCX070037
SHUCX120105)
-
文摘
随着大数据技术的不断升温,数据断层现象的分析与处理已经成为数据挖掘领域重要的方式与手段。数据断层理论作为描述数据对象之间发生局部位移趋势的分析理论,对于数据预处理过程具有十分重要的指导性意义。在初步描述数据断层理论基本概念的基础上,以上海"动感101"音乐电台的移动客户端应用日志数据为例,构建数据断层理论分析系统来处理电台数据中所存在的数据断层现象,提高了数据对象预处理的质量,得到了有效的电台决策辅助信息,从而充分说明了数据断层理论的科学性和有效性,为进一步研究奠定了坚实基础。
-
关键词
数据断层
数据挖掘
数据预处理
日志数据分析
移动客户端应用
-
Keywords
Data faultage Data mining Data preprocessing Log data analysis Mobile client application
-
分类号
TP311.131
[自动化与计算机技术—计算机软件与理论]
G202
[自动化与计算机技术—计算机科学与技术]
-
-
题名统一移动应用数据采集与分析平台设计与实现
被引量：1
- 3
-
-
作者
翁湦元
钱克非
郝晓培
-
机构
中国铁道科学研究院集团有限公司电子计算技术研究所
-
出处
《铁路计算机应用》
2022年第3期35-41,共7页
-
基金
中国铁道科学研究院集团有限公司科研项目(2017DZ0102)。
-
文摘
随着Web应用、小程序、公众号、App等各种移动应用的普及,作为直接面向终端用户的移动互联网服务入口,其运行性能、稳定性及用户体验尤为重要。文章提出统一移动应用数据采集与分析平台设计方案,包括移动应用端和服务端两部分;移动应用端采用分层的结构化设计与统一接口定义,实现移动应用的多渠道兼容;服务端通过消息队列实现日志数据处理解耦,支持实时与离线两种日志处理模式,兼顾数据分析的准确性与实时性。该平台提供的多渠道移动应用数据采集分析服务具有低代码侵入、易于快速部署的特点,可有效整合来自多种渠道移动应用的日志数据,实现移动应用的统一监控与综合分析,帮助运营人员及时全面掌握各类移动应用运行状态及用户行为,对持续改进移动互联网服务、增强移动应用稳定性、提升用户服务体验具有积极作用。
-
关键词
移动应用
移动端应用统一监控
用户行为分析
日志数据采集
日志数据分析
-
Keywords
mobile application
unified monitoring of mobile applications
user behavior analysis
log collection
log analysis
-
分类号
U29
[交通运输工程—交通运输规划与管理]
TP39
[交通运输工程—道路与铁道工程]
-
-
题名网络安全日志数据分析系统的探究
被引量：1
- 4
-
-
作者
邓宾
-
机构
东营职业学院
-
出处
《电子测试》
2014年第2期43-44,42,共3页
-
文摘
网络安全日志可以将操作系统、应用程序、系统发生的所有事件及用户的一切行为按照特定的规则记录下来,对网络安全日志数据进行数据挖掘可以找出网络攻击来源和攻击目的,也可以通过对数据的分析找出合适的网络安全问题的解决方案。本文提出了一种基于Hadoop的在线网络安全日志数据分析系统,该系统包括日志采集模块、日志分析模块和界面设计模块,其中对于日志分析模块采用改进的Apriori算法。实验表明,本文提出的网络安全日志数据分析系统在日志数据分析的准确性和有效性方面均比较良好。
-
关键词
网络安全
日志数据分析
APRIORI
HADOOP
-
Keywords
network security
log data analysis
Apriori
Hadoop
-
分类号
TP393.08
[自动化与计算机技术—计算机应用技术]
-
-
题名基于ELK数据采集与分析平台的设计与实现
- 5
-
-
作者
李连天
-
机构
阳江职业技术学院
-
出处
《电子技术与软件工程》
2021年第23期174-175,共2页
-
文摘
本文采用ELK(Elasticsearch Logstash Kibana)作为系统框架,并搭建Nginx服务,结合Filebeat等技术,实现对服务器产生的海量日志收集、查询、检索和可视化的构建日志数据采集与分析平台。平台分为四个模块:日志收集模块,日志存储模块,日志预处理模块以及日志检索和展示模块,系统能高效管理数量达到数百台服务器日志数据。
-
关键词
日志数据采集
日志数据分析
ELK
-
分类号
TP274.2
[自动化与计算机技术—检测技术与自动化装置]
-
