-
题名一种分布式日志采集与分析系统
被引量：6
- 1
-
-
作者
张宏海
刘亚宁
-
机构
中国民航信息网络股份有限公司
民航旅客服务智能化应用技术重点实验室
-
出处
《信息技术与信息化》
2022年第6期87-90,共4页
-
文摘
随着业务增长,服务器端的机器数量也在不断扩张,对于集群日志进行实时的采集和分析就变得越来越复杂,业界出现了许多基于日志数据处理的平台,但目前使用最广泛的是ELK平台。基于开源的ELK(elasticsearch、logstash和kibana)作为系统框架,实现了一种分布式日志采集与分析系统,完成对服务器产生的海量日志进行数据收集、处理、查询和可视化的构建。系统分为四个部分,包括数据收集、数据处理、数据存储以及数据展示,系统中每个部分都具备横向扩展的能力,具备高可用的机制,可以根据不同的维度和条件实现近实时的高效数据查询和检索。
-
关键词
日志文件
日志数据收集
日志数据分析
日志数据处理
elk平台
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
-
题名一种基于Logstash的高效数据处理方法
被引量：2
- 2
-
-
作者
张宏海
刘亚宁
-
机构
中国民航信息网络股份有限公司
民航旅客服务智能化应用技术重点实验室
-
出处
《信息技术与信息化》
2022年第7期84-87,共4页
-
文摘
ELK平台是目前业界使用最广泛的日志数据处理平台,但Logstash在性能上有严重短板,无法进行复杂数据处理。为了更加高效、实时的处理生产系统中日益增长的海量日志数据,基于logstash系统,通过自定义的Ruby插件,实现一种高效数据处理的方法,解决了性能问题,并且可实现复杂数据处理。系统由三部分组成,分别是数据输入、数据处理和数据输出。数据输入和数据输出部分保留了Logstash丰富的插件功能以及其高可用的特点,可用不同的插件进行切换。数据处理部分使用Ruby脚本对所有数据进行定制化的数据处理,提高了Logstash的数据处理效率,在实际生产环境中,性能提升将近50%,增强了Logstash的数据处理能力,尤其是在复杂数据处理过程中,可同时产生多个事件,支持复杂的统计功能。
-
关键词
elk平台
日志数据
Logstash系统
高性能
复杂数据处理
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
V351.37
[自动化与计算机技术—计算机科学与技术]
-
