基于Hadoop的网络日志分析系统研究 被引量：17

1

作者 胡光民 周亮 柯立新 《电脑知识与技术》 2010年第8期6163-6164,6185,共3页

查看网络日志是调查系统故障,监控系统运行状况的重要手段。管理员可以查看在某段时间内所发生的事件,也可以通过对各个日志文件进行分析获取知识。由于日志具有数据量大,不易读懂的特点,如果仅凭借管理员查看日志记录的手段,其中所蕴... 查看网络日志是调查系统故障,监控系统运行状况的重要手段。管理员可以查看在某段时间内所发生的事件,也可以通过对各个日志文件进行分析获取知识。由于日志具有数据量大,不易读懂的特点,如果仅凭借管理员查看日志记录的手段,其中所蕴含的有用信息也难以发现。分布式计算技术正好可以用来解决这一难题。阐述了syslog日志收集流程,详细介绍了Hadoop分布式计算框架,设计并实现了一套基于Hadoop的网络日志分析系统。实验证明该系统是有效而实用的。 展开更多

关键词 Hadoop框架 分布式 日志分析 syslog

下载PDF 职称材料

面向云数据中心多语法日志通用异常检测机制 被引量：11

2

作者 张圣林 李东闻 +5 位作者 孙永谦 孟伟彬 张宇哲 张玉志 刘莹 裴丹 《计算机研究与发展》 EI CSCD 北大核心 2020年第4期778-790,共13页

得益于自然语言处理和机器学习方法的快速发展,基于日志对云数据中心软硬件系统进行自动异常检测变得越来越流行.无监督学习方法不需要标记异常日志,但通常存在准确性较低、仍需标注大量正常日志的问题.尽管有监督学习方法的准确性较高... 得益于自然语言处理和机器学习方法的快速发展,基于日志对云数据中心软硬件系统进行自动异常检测变得越来越流行.无监督学习方法不需要标记异常日志,但通常存在准确性较低、仍需标注大量正常日志的问题.尽管有监督学习方法的准确性较高,但由于不同软硬件系统产生不同类型的、语法各异的日志,导致有监督学习方法需要为每一类型日志标注足够多的异常日志以训练相应的异常检测模型,这极大地增加了标注异常日志的人力成本.与此同时,不同类型日志在发生异常时往往具有相同或相似的语义.因此,提出了一种跨日志类型的通用异常检测机制——LogMerge.该机制通过学习多语法日志的语义相似性,可实现日志异常模式的跨日志类型迁移,从而大大减少了异常标注开销.LogMerge采用词嵌入方法先后构建单词和模板的向量,然后使用聚类方法将语义相同或相近的模板聚成一类,解决了不同类型日志语法不同带来的挑战.此外,LogMerge结合CNN与LSTM方法构建异常检测模型,既有效提取了日志序列的前后依赖性,又显著降低了日志序列中噪声带来的影响.使用公开日志数据集的实验表明,相比于当前的有监督学习方法和无监督学习方法,LogMerge取得了更高的准确性.实验还验证了LogMerge能够显著减少异常标注工作量——在目标类型日志异常标注较少时,依然能够取得较高的准确性. 展开更多

关键词 日志 异常检测 云数据中心 词嵌入 CNN LSTM

下载PDF 职称材料

基于Syslog的网络日志管理分析模型 被引量：6

3

作者 黄文 谢冬青 《湖南科技学院学报》 2006年第5期164-167,共4页

日志文件分析是系统安全检测的重要内容;同时日志文件也是计算机取证的重要依据。本文针对分布式网络日志文件管理和分析中安全性低、相关性分析弱的问题,提出了基于Syslog协议的日志文安全管理和分析模型(SISyslog),并提出了该模型的... 日志文件分析是系统安全检测的重要内容;同时日志文件也是计算机取证的重要依据。本文针对分布式网络日志文件管理和分析中安全性低、相关性分析弱的问题,提出了基于Syslog协议的日志文安全管理和分析模型(SISyslog),并提出了该模型的实现方法。 展开更多

关键词 日志文件 安全检测 计算机取证 知识库 syslog

下载PDF 职称材料

基于Syslog的日志审计系统的研究和实现 被引量：7

4

作者 李甜 《中国新通信》 2008年第12期47-49,共3页

引言 目前，从外部看，网络环境发生了巨大的变化，经历了由结构单一到复杂、应用的单一到多样的发展过程，这就要求网络管理员在网络的协议层次结构上对系统管理重新认识，通过适当的策略实现集中式管理，实现事件的实时监控和快速响... 引言 目前，从外部看，网络环境发生了巨大的变化，经历了由结构单一到复杂、应用的单一到多样的发展过程，这就要求网络管理员在网络的协议层次结构上对系统管理重新认识，通过适当的策略实现集中式管理，实现事件的实时监控和快速响应的网络管理。但是，网络管理的对象主要由构成网络的硬件和软件组成，包括工作站、服务器、网卡、路由器、交换机、防火墙等。通常情况下这些设备都分散在不同的地方， 展开更多

关键词 审计系统 syslog 网络管理员 日志 网络环境 层次结构 集中式管理 快速响应

下载PDF 职称材料

基于国产操作系统的网络日志管理系统构建 被引量：5

5

作者 李锦川 钱秀槟 方星 《计算机安全》 2010年第10期59-61,共3页

系统日志信息是分析信息安全状况的重要数据来源,也是在出现信息安全事件后对事件发生路径及事件原因进行定位的关键,因此建立可为各种网络设备、主机设备提供集中日志管理的网络日志系统已经显得越来越重要。从实践出发,提出一种基于... 系统日志信息是分析信息安全状况的重要数据来源,也是在出现信息安全事件后对事件发生路径及事件原因进行定位的关键,因此建立可为各种网络设备、主机设备提供集中日志管理的网络日志系统已经显得越来越重要。从实践出发,提出一种基于国产操作系统建立网络日志管理系统的采集方法。 展开更多

关键词 日志系统 国产操作系统 syslog

下载PDF 职称材料

Linux环境下syslog日志管理系统研究 被引量：3

6

作者 孙鹏程 周利华 《电子科技》 2007年第7期72-74,共3页

随着Internet和网络应用系统的发展和普及,网络攻击行为不断升级,严重影响了系统的正常运行,系统安全问题已引起人们的高度重视。多数应用系统通常采用Linux作为服务器操作系统,日志是Linux系统重要的安全特性,对于系统安全极为重要。... 随着Internet和网络应用系统的发展和普及,网络攻击行为不断升级,严重影响了系统的正常运行,系统安全问题已引起人们的高度重视。多数应用系统通常采用Linux作为服务器操作系统,日志是Linux系统重要的安全特性,对于系统安全极为重要。通过它可以方便地查找出系统错误或受到的攻击。基于对Linux Red Hat9．0的研究,文中对syslog协议、日志服务器的建立以及使用logrotate对日志进行轮循管理进行了详细说明,还对Syslog日志管理系统的安全性进行了简要分析,提出了现有Syslog机制存在的问题和未来的发展方向。 展开更多

关键词 分布式环境 日志管理系统 syslog 系统安全

下载PDF 职称材料

Linux环境下构建安全的日志服务器 被引量：2

7

作者 张永生 谭成翔 汪海航 《计算机安全》 2006年第12期6-8,12,共4页

日志记录了操作系统、应用程序和设备的运行信息,通过日志可以及时发现安全问题、定位故障原因。对日志进行集中存储,可以有效地管理和监测日志信息,增强整个系统环境的安全性。该文首先介绍了Linux环境下日志的实现机制,然后着重描述... 日志记录了操作系统、应用程序和设备的运行信息,通过日志可以及时发现安全问题、定位故障原因。对日志进行集中存储,可以有效地管理和监测日志信息,增强整个系统环境的安全性。该文首先介绍了Linux环境下日志的实现机制,然后着重描述了构建日志服务器的方案及其具体实现。 展开更多

关键词 日志 LINUX syslog syslog-ng Stunnel SWATCH

下载PDF 职称材料

网络日志管理分析系统构建技术研究 被引量：5

8

作者 杨锋英 刘会超 于海平 《计算机与数字工程》 2014年第3期465-470,共6页

日志对于系统的日常运维、审计及入侵检测等具有重要作用,如何对日志进行有效的管理和分析是日志系统的重要课题。当前,对日志进行远程集中化管理和分析是普遍认同的有效手段。完整的日志系统包括日志源、日志服务器、日志存储和日志分... 日志对于系统的日常运维、审计及入侵检测等具有重要作用,如何对日志进行有效的管理和分析是日志系统的重要课题。当前,对日志进行远程集中化管理和分析是普遍认同的有效手段。完整的日志系统包括日志源、日志服务器、日志存储和日志分析四个环节,其中日志服务器具有核心地位。首先介绍了常见的日志服务器系统、客户端软件及前端分析系统,详细说明了功能特性。最后分析了日志系统的部署架构和基本处理流程。 展开更多

关键词 网络安全 日志管理 日志分析 日志服务器 客户端代理 syslog

下载PDF 职称材料

面向多平台的日志远程采集系统研究 被引量：4

9

作者 杨锋英 刘会超 《计算机技术与发展》 2014年第7期149-152,156,共5页

日志对于系统的日常运维、审计及入侵检测等具有重要作用,对日志进行远程集中化管理是日志管理的有效手段。由于不同操作系统平台上支持的日志格式不统一,传统上很难将大型网络中不同系统的日志远程采集到集中的日志服务器上。nxlog是... 日志对于系统的日常运维、审计及入侵检测等具有重要作用,对日志进行远程集中化管理是日志管理的有效手段。由于不同操作系统平台上支持的日志格式不统一,传统上很难将大型网络中不同系统的日志远程采集到集中的日志服务器上。nxlog是一种支持多平台的功能强大的日志采集工具,部署方便,可以在目标系统上持续稳定地收集系统日志,并支持以多种日志格式和传输模式将日志发送到远程日志服务器。同时,Syslog作为一种工业协议,也得到了越来越多的支持。基于nxlog并配合成熟的日志服务器可以构建灵活可靠的系统日志远程采集系统。实际运行结果表明该方案可有效解决大型网络中系统日志远程采集的问题。 展开更多

关键词 网络安全 系统日志 日志采集 nxlog syslog 多平台

下载PDF 职称材料

调度自动化系统综合运维平台设计 被引量：4

10

作者 徐红泉 《计算机时代》 2010年第11期73-74,共2页

为了保证分布于各地的自动化系统运行安全、稳定、高效,设计并构建了一个调度自动化系统综合运维平台。该系统运用现有的各种技术手段(SNMP、SYSLOG等),实现对自动化系统的安全运行进行全面监管;并引入IT服务管理理论,规范自动化系统的... 为了保证分布于各地的自动化系统运行安全、稳定、高效,设计并构建了一个调度自动化系统综合运维平台。该系统运用现有的各种技术手段(SNMP、SYSLOG等),实现对自动化系统的安全运行进行全面监管;并引入IT服务管理理论,规范自动化系统的运维工作,以提高运维效率、保障自动化系统的可靠运行。该系统已在衢州电力局投入运行,系统运行稳定,有效地改善了自动化系统的运维效率。 展开更多

关键词 自动化系统 运维平台 ITIL SNMP syslog

下载PDF 职称材料

基于syslog的数据采集引擎在IDS中的研究 被引量：1

11

作者 黄家林 程暄 《网络安全技术与应用》 2007年第4期59-61,共3页

本文从校园网的实际管理出发,结合理论研究提出了基于syslog日志系统的建模分析,通过对syslog的分析,可以对网络中的安全事件进行跟踪,管理和记录。同时,如果将syslog作为IDS的数据源之一,可以提高IDS的效率及降低误报率。本文着重介绍s... 本文从校园网的实际管理出发,结合理论研究提出了基于syslog日志系统的建模分析,通过对syslog的分析,可以对网络中的安全事件进行跟踪,管理和记录。同时,如果将syslog作为IDS的数据源之一,可以提高IDS的效率及降低误报率。本文着重介绍syslog数据采集引擎在网络中的架构与实现。 展开更多

关键词 IDS syslog 采集引擎 校园网

原文传递

Rsyslog在IT日志采集中的应用 被引量：3

12

作者 林峰旭 刘金扬 +1 位作者 郑剑 翟宜凯 《网络空间安全》 2019年第4期18-22,共5页

随着我国互联网发展,网络安全问题日益严重。校园网出口防火墙、网络行为审计等系统在运行过程中产生海量IT日志,这些日志对高校安全管理有着重要意义。但是,校园网IT日志种类繁多、数量巨大,给采集发送工作带来很大困难。文章对校园网I... 随着我国互联网发展,网络安全问题日益严重。校园网出口防火墙、网络行为审计等系统在运行过程中产生海量IT日志,这些日志对高校安全管理有着重要意义。但是,校园网IT日志种类繁多、数量巨大,给采集发送工作带来很大困难。文章对校园网IT日志采集的难点进行了分析,应用Rsyslog到校园网IT日志采集,以较低的运行成本和对现有应用最小的影响,解决日志的采集和转发问题。 展开更多

关键词 syslog Rsyslog 日志转发 日志提取

下载PDF 职称材料

面向主动运维的Syslog日志分析方法 被引量：3

13

作者 叶成刚 《智能计算机与应用》 2017年第5期50-54,59,共6页

网络在运行过程中,有时会出现一些异常事件,这些异常事件对网络具有一定的危害性,严重的可能会导致网络故障。现代网络运维工作中普遍使用Syslog日志记录网络设备上发生的各种事件,然而许多网络运维部门仅仅用Syslog日志分析故障,对日... 网络在运行过程中,有时会出现一些异常事件,这些异常事件对网络具有一定的危害性,严重的可能会导致网络故障。现代网络运维工作中普遍使用Syslog日志记录网络设备上发生的各种事件,然而许多网络运维部门仅仅用Syslog日志分析故障,对日志中所反映的网络异常情况往往重视不够。为了改变被动等待故障的工作方式,网络部门需要全面了解网络的运行情况,找出可能导致网络故障的因素,使得运维工作由被动变为主动。Syslog日志分析是主动运维工作中的一项重要内容。由于大型网络中Syslog日志数量非常庞大,依靠人的分析方法几乎不可行,而且由于日志消息格式的随意性,也使得传统的基于规则的计算机分析方法通用性较差。本文通过对异常事件的特征进行研究,结合实际网络中的Syslog日志数据,对如何找出网络中的异常事件和异常设备进行总结。 展开更多

关键词 日志 异常事件 主动运维 日志分析

下载PDF 职称材料

面向Windows平台的日志远程采集系统研究 被引量：2

14

作者 杨锋英 刘会超 《河南科学》 2014年第2期189-194,共6页

对日志进行远程集中化管理是日志管理的有效手段.但由于日志格式不统一,传统上很难将大型网络中Windows系统上的各类日志远程采集到集中的日志服务器.介绍了Windows平台上常见系统日志的概况,以及一种新的支持多平台且功能强大的日志采... 对日志进行远程集中化管理是日志管理的有效手段.但由于日志格式不统一,传统上很难将大型网络中Windows系统上的各类日志远程采集到集中的日志服务器.介绍了Windows平台上常见系统日志的概况,以及一种新的支持多平台且功能强大的日志采集工具nxlog,它可以非常方便地部署到Windows系统上并以客户端代理或者服务器模式运行,以此提出了基于nxlog的日志远程采集系统方案.实际运行结果表明,该方案具有实用、高效的特点,可有效解决大型网络中Windows系统日志远程采集的问题. 展开更多

关键词 网络安全 系统日志 日志采集 WINDOWS系统

下载PDF 职称材料

校园网运维管理系统的分析与研究 被引量：2

15

作者 石坚 《价值工程》 2016年第3期77-79,共3页

目前业界有很多知名网络管理系统,比如思科公司的Cisco Works,HP公司Open View等,在很多大型企业网络里运行良好。但这些系统庞大,功能繁杂,部署与使用都需要专业人员进行,不适合中小企业和校园网使用。本文从校园网运维角度出发,研究... 目前业界有很多知名网络管理系统,比如思科公司的Cisco Works,HP公司Open View等,在很多大型企业网络里运行良好。但这些系统庞大,功能繁杂,部署与使用都需要专业人员进行,不适合中小企业和校园网使用。本文从校园网运维角度出发,研究和设计适合维护人员使用的网络运维管理系统,提高运维人员的工作效率,保障校园网的可靠性。 展开更多

关键词 syslog SNMP 网络运维

下载PDF 职称材料

Syslog在企业网络管理中的应用 被引量：2

16

作者 温炜 郭玲 《宁夏电力》 2009年第5期42-45,共4页

Syslog常被称为系统日志或系统记录,可以用来管理计算机系统和进行安全审计,在不同的操作系统(Unix/Linux)的服务器、路由器、交换机等网络设备中,通过Syslog的系统记录,网络管理员可以随时掌握系统的安全状况,同时也为网络安全审计提... Syslog常被称为系统日志或系统记录,可以用来管理计算机系统和进行安全审计,在不同的操作系统(Unix/Linux)的服务器、路由器、交换机等网络设备中,通过Syslog的系统记录,网络管理员可以随时掌握系统的安全状况,同时也为网络安全审计提供事件记录依据。 展开更多

关键词 syslog 网络安全 日志配置 网络管理 审计分析

下载PDF 职称材料

基于Windows的Syslog日志系统设计与实现 被引量：2

17

作者 王春彦 朱磊 杨晓朋 《微型机与应用》 2012年第4期11-13,16,共4页

针对传统的单一设备和人工管理方式不能应对日益复杂的网络威胁和挑战,不能及时发现和准确定位网络安全事件,也不能对安全事件可能造成的后果进行准确评估的问题,本文主要讨论如何基于标准Syslog协议,通过对网络设备大量网络日志数据的... 针对传统的单一设备和人工管理方式不能应对日益复杂的网络威胁和挑战,不能及时发现和准确定位网络安全事件,也不能对安全事件可能造成的后果进行准确评估的问题,本文主要讨论如何基于标准Syslog协议,通过对网络设备大量网络日志数据的集中采集,通过SQL代理处理后进行分析,构造一套日志系统,以达到对网络运行状况进行检测的目的。 展开更多

关键词 syslog 日志系统 SQL代理 网络安全

下载PDF 职称材料

Syslog日志实时分析方法优化

18

作者 肖杰 《网络安全技术与应用》 2023年第9期12-14,共3页

Syslog日志作为应用最广的一种网络安全日志协议和格式,在网络运维中发挥着十分重要的作用,通过实时分析日志,可以及时监控用户行为,减少或避免安全事件带来的损失。当前,日志系统主要对多种格式的日志进行综合性分析,而对基于Syslog日... Syslog日志作为应用最广的一种网络安全日志协议和格式,在网络运维中发挥着十分重要的作用,通过实时分析日志,可以及时监控用户行为,减少或避免安全事件带来的损失。当前,日志系统主要对多种格式的日志进行综合性分析,而对基于Syslog日志的实时分析能力不足,存在分析结果不准确、针对性不强的问题。针对上述问题,本文首先研究了日志分析面临的挑战,日志实时分析方法的研究现状,最后从两个方面对传统Syslog日志实时分析方法进行了优化和实现,经评估取得了一定效果。 展开更多

关键词 syslog 网络安全 日志分析 日志系统

原文传递

基于Syslog的网络日志管理平台 被引量：4

19

作者 刘磊 孙路强 +1 位作者 周利霞 许贺 《电子技术与软件工程》 2019年第5期12-14,共3页

本文基于Syslog的网络日志管理平台对海量日志进行收集,并通过模式匹配的方法对日志进行了分析,形成了日志分析告警,有效对设备和服务运行状态进行监控,在实际应用中很好的解决了暴力破解发现,异常操作感知等问题。

关键词 syslog 模式匹配 日志分析 告警监控

下载PDF 职称材料

NAT日志保存方案及实现 被引量：1

20

作者 马时来 刘兰 靳伟国 《北方工业大学学报》 2011年第3期12-16,共5页

使用NAT可缓解IP地址的不足,但导致了内网地址和外网地址不一致,并且因地址转换信息未保存而带来了网络行为不可审计和追踪.本文阐述了一种可行的NAT日志的保存方案,即采用在线精简和压缩的方法将海量日志数据保存为压缩文件,亦可将日... 使用NAT可缓解IP地址的不足,但导致了内网地址和外网地址不一致,并且因地址转换信息未保存而带来了网络行为不可审计和追踪.本文阐述了一种可行的NAT日志的保存方案,即采用在线精简和压缩的方法将海量日志数据保存为压缩文件,亦可将日志保存到数据库中.该方案在实际运行中效果良好. 展开更多

关键词 网络地址转换 syslog 压缩保存

下载PDF 职称材料