基于Spark Streaming的实时数据分析系统及其应用 被引量：30

1

作者 韩德志 陈旭光 +2 位作者 雷雨馨 戴永涛 张肖 《计算机应用》 CSCD 北大核心 2017年第5期1263-1269,共7页

为了实现对实时网络数据流的快速分析,设计一种分布式实时数据流分析系统(DRDAS),能有效解决并发访问数据流的收集、存储和实时分析问题,为大数据环境的网络安全检测提供了一种有效的数据分析平台;根据Spark Streaming运行的原理设计一... 为了实现对实时网络数据流的快速分析,设计一种分布式实时数据流分析系统(DRDAS),能有效解决并发访问数据流的收集、存储和实时分析问题,为大数据环境的网络安全检测提供了一种有效的数据分析平台;根据Spark Streaming运行的原理设计一种动态采样的K-Means并行算法,与DRDAS结合能实时有效地检测大数据环境下的各种分布式拒绝服务(DDo S)攻击。实验结果显示:DRDAS具有好的可扩展性、容错性和实时处理能力,与动态采样的K-Means并行算法结合能实时地检测各种DDo S攻击,缩短了攻击的检测时间。 展开更多

关键词 SPARK Streaming框架 分布式流处理 网络数据分析 分布式拒绝服务攻击

下载PDF 职称材料

基于WinPcap的网络数据监测及分析 被引量：18

2

作者 沈辉 张龙 《计算机科学》 CSCD 北大核心 2012年第S2期15-18,29,共5页

利用WinPcap库函数可以实现网络数据监测及分析的软件功能。阐述了其主要设计及实现工作,若对所提出的网络数据语义分析进行深入的研究,将具有很强的应用及研究意义。

关键词 WINPCAP 网络数据监测 网络数据分析

下载PDF 职称材料

基于信息融合的概率矩阵分解链路预测方法 被引量：11

3

作者 王智强 梁吉业 李茹 《计算机研究与发展》 EI CSCD 北大核心 2019年第2期306-318,共13页

作为一种典型的网络大数据,社交信息网络如微博、Tweeter等,不仅包含用户间复杂的网络结构,而且包含大量用户所发表的微博/Tweet信息.现有链路预测算法大多只利用单方面的网络拓扑信息或非拓扑信息,仍然缺乏有效融合社交信息网络中拓扑... 作为一种典型的网络大数据,社交信息网络如微博、Tweeter等,不仅包含用户间复杂的网络结构,而且包含大量用户所发表的微博/Tweet信息.现有链路预测算法大多只利用单方面的网络拓扑信息或非拓扑信息,仍然缺乏有效融合社交信息网络中拓扑与非拓扑信息的链路预测方法.为此,从社交信息网络中用户的主题角度出发,提出一种融合主题相似信息的链路预测方法.首先基于用户文本内容抽取用户的主题表示,并定义用户间的主题相似度;然后基于用户主题相似度,构建了一种用户主题相似稀疏网络;进一步将用户主题相似网络与用户间关注/被关注网络融合在统一的概率矩阵分解框架下,通过学习获得用户的潜在特征表示和网络链路参数;最终在此概率矩阵分解框架下,基于用户的潜在特征表示和链路参数计算得到用户间的链路可能性.所提出的模型提供了一种融合多种网络信息的通用策略和学习方法.实验在包含网络结构与文本信息的4组微博与推特数据集中显示,所提出的融合概率矩阵分解链路方法相比其他链路预测方法更有效. 展开更多

关键词 社交信息网络 链路预测 概率矩阵分解 融合模型 网络数据分析

下载PDF 职称材料

NWDAF网络数据分析功能的标准演进 被引量：2

4

作者 牛煜霞 赵嵩 贺智敏 《移动通信》 2023年第1期29-33,共5页

随着5G业务形态呈现多样化,核心网需要融合人工智能技术,提升网络数据分析能力以满足复杂的业务需求。NWDAF作为5G核心网络架构的一部分,可以向网络提供数据分析服务,为实现网络的自动化和智能化提供重要的技术基础,它的功能在不断地被... 随着5G业务形态呈现多样化,核心网需要融合人工智能技术,提升网络数据分析能力以满足复杂的业务需求。NWDAF作为5G核心网络架构的一部分,可以向网络提供数据分析服务,为实现网络的自动化和智能化提供重要的技术基础,它的功能在不断地被增强和完善,但在研究和实际应用时也会面临诸多挑战。聚焦国际标准化组织对NWDAF的研究内容,首先介绍了NWDAF核心技术在国际标准化组织中的研究进展,指出了在3GPP各个标准版本中NWDAF网络分析架构和网络分析能力增强的具体内容;然后分析了NWDAF核心技术未来演进的挑战和方向,指出了NWDAF在实际应用时所面临的实时性、安全性、可靠性以及准确性要求高等挑战,同时针对相关挑战展望了NWDAF技术的发展方向,包括研究可信的分布式AI技术以及跨平台AI模型共享技术等。 展开更多

关键词 通信标准 核心网 网络数据分析

下载PDF 职称材料

一种基于知识库的行为特征检测模型 被引量：6

5

作者 唐晓兰 刘中临 刘嘉勇 《信息安全与通信保密》 2012年第2期51-53,56,共4页

随着网络信息量的剧增,网络安全问题也日益突出,对目标人群特定上网行为的监测就是一种网络安全意识防范的措施。文中提出一种基于知识库的网络用户行为监测模型,该模型结合快速多模式匹配技术,可以在大流量的网络环境下对知识库中已有... 随着网络信息量的剧增,网络安全问题也日益突出,对目标人群特定上网行为的监测就是一种网络安全意识防范的措施。文中提出一种基于知识库的网络用户行为监测模型,该模型结合快速多模式匹配技术,可以在大流量的网络环境下对知识库中已有的行为特征进行快速、高效、准确的匹配,其优势在于特征知识库可以灵活扩展和控制。该模型在方便管理人员进行管理的同时,也能在高速网络环境下监测网络用户的特定行为。 展开更多

关键词 特征知识库 行为检测 网络数据分析

原文传递

基于交易流水的信用卡套现交易及商户识别

6

作者 黄丹阳 朱映秋 +1 位作者 南金伶 王汉生 《数理统计与管理》 北大核心 2023年第1期127-144,共18页

信用卡套现是一种威胁正常金融秩序的风险行为。有效识别具有套现风险的商户及其风险交易,对信用卡风控具有重要意义。传统的信用卡风险识别方法需要先积累大量的标注数据,对持卡人拥有充分的先验信息。而信用卡标注数据的稀缺大大限制... 信用卡套现是一种威胁正常金融秩序的风险行为。有效识别具有套现风险的商户及其风险交易,对信用卡风控具有重要意义。传统的信用卡风险识别方法需要先积累大量的标注数据,对持卡人拥有充分的先验信息。而信用卡标注数据的稀缺大大限制了传统方法的应用。本文充分挖掘海量交易流水数据,提出基于无监督学习的套现交易及风险商户识别方法。一方面,该方法无需关于信用卡的标注数据或先验信息,能够以数据驱动的方式过滤行为异常的套现交易及风险商户,具有更广泛的应用前景。另一方面,该方法综合商户的交易金额属性,及商户与消费者之间的关联关系,构建出一系列可解释性强的套现风险指标,为风控管理提供直观的指导参考。基于某第三方支付平台实际数据的实证分析表明,本文方法能够有效区分具有不同行为表现、不同风险等级的商户群体,为实际的套现交易识别提供可靠的决策支持。 展开更多

关键词 信用卡 风险管理 聚类分析 交易流水 网络数据分析

原文传递

高速铁路信号系统安全数据网数据获取及分析 被引量：3

7

作者 石明明 《铁路通信信号工程技术》 2019年第9期48-51,共4页

针对高速铁路信号系统安全数据网数据的获取及分析,阐述基于WinPcap的软件设计及实现思路。对所提出的网络分析功能进行研究,具有较强的应用及研究意义。

关键词 WINPCAP 高速铁路信号安全数据网 网络数据分析

下载PDF 职称材料

Oracle Spatial NDM路网模型构建及应用 被引量：3

8

作者 程立君 王发良 崔少芳 《测绘科学》 CSCD 北大核心 2014年第5期27-31,共5页

地理国情普查提出构建"道路网专题数据库",但目前还没有针对国情普查道路网络模型相关研究。本文根据地理国情普查道路数据采集技术规范,基于前期汇交的试点数据,提出了地理国情普查道路网的概念模型和逻辑模型;并利用Oracle ... 地理国情普查提出构建"道路网专题数据库",但目前还没有针对国情普查道路网络模型相关研究。本文根据地理国情普查道路数据采集技术规范,基于前期汇交的试点数据,提出了地理国情普查道路网的概念模型和逻辑模型;并利用Oracle Spatial NDM网络数据模型,对地理国情普查道路网进行了物理设计;初步分析了道路网构建的方法和步骤,分别利用NDM函数和ArcGIS网络分析工具对道路网数据进行应用分析验证。研究表明,利用Oracle Spatial NDM能满足地理国情普查道路网的存储与应用需求;同时,NDM的开放性也能满足其他GIS平台的应用扩展。 展开更多

关键词 地理国情普查 ORACLE SPATIAL NDM 道路网模型 网络数据分析

原文传递

基于网络数据分析的中医药自媒体传播路径研究 被引量：3

9

作者 刘雅兰 张政 《中医药文化》 2021年第5期456-462,共7页

在媒介去中心化的背景下,每个人同时是信息的传播者与接收者,中医可以用便捷的自媒体进行全民传播。但同时,自媒体的各项传播要素相互影响,使得传播过程更加复杂,传播效果难以控制。选取微信、微博、知乎、豆瓣、百度贴吧、BiliBili中... 在媒介去中心化的背景下,每个人同时是信息的传播者与接收者,中医可以用便捷的自媒体进行全民传播。但同时,自媒体的各项传播要素相互影响,使得传播过程更加复杂,传播效果难以控制。选取微信、微博、知乎、豆瓣、百度贴吧、BiliBili中的中医药相关数据,通过网络数据分析了解现有中医自媒体传播主体、内容、受众及效果这几大传播要素及其互动关系。通过借鉴传统传播模型,形成了中医自媒体传播的有效路径,在此基础上为提升中医传播效果提出相关建议。 展开更多

关键词 中医药 自媒体 传播路径 网络数据分析

下载PDF 职称材料

多维度iOS隐私泄露评估模型研究 被引量：2

10

作者 邢月秀 胡爱群 +1 位作者 王永剑 赵然 《网络与信息安全学报》 2016年第4期73-79,共7页

针对目前iOS平台隐私泄露检测缺乏系统性的评估方法,提出了一种多维度iOS隐私泄露评估模型。该模型分为综合静态分析、动态分析和网络数据分析方法,从多维度对应用程序隐私泄露行为进行特征抽取和评估。实验测试了30款来自苹果App Stor... 针对目前iOS平台隐私泄露检测缺乏系统性的评估方法,提出了一种多维度iOS隐私泄露评估模型。该模型分为综合静态分析、动态分析和网络数据分析方法,从多维度对应用程序隐私泄露行为进行特征抽取和评估。实验测试了30款来自苹果App Store不同类型的应用程序,发现超过50%的应用程序会读取用户位置信息,约40%的应用程序存在未经用户同意发送数据到服务器的情况。该模型弥补了单一使用静态分析或动态分析方法的局限性,有效解决了隐私泄露的量化问题。 展开更多

关键词 IOS 隐私泄露 静态分析 动态分析 网络数据分析

下载PDF 职称材料

网络传播与网络信息计量学研究的新突破——评邱均平教授等的《网络数据分析》 被引量：2

11

作者 文庭孝 《图书情报工作》 CSSCI 北大核心 2005年第6期141-142,共2页

从创新点、学术地位、社会影响、写作特点、内容体系、应用范围等方面对邱均平教授等的《网络数据分析》一书进行介绍和评价,认为该书思路清晰、内容丰富,并创造性地将信息计量学和科学计量学的最新理论与定量的方法引入网络数据分析和... 从创新点、学术地位、社会影响、写作特点、内容体系、应用范围等方面对邱均平教授等的《网络数据分析》一书进行介绍和评价,认为该书思路清晰、内容丰富,并创造性地将信息计量学和科学计量学的最新理论与定量的方法引入网络数据分析和网络传播研究,是网络传播与网络信息计量学研究方面的难得之作。 展开更多

关键词 网络传播 网络信息计量学 《网络数据分析》 书评

原文传递

网络数据分析中云计算技术的应用价值 被引量：1

12

作者 陈泽恩 《数字通信世界》 2022年第4期140-142,共3页

在网络时代背景下,信息技术得到快速发展,在数据分析视角下云计算技术受到了更多关注,云计算技术具有存储量大、数据分析快速、操作简单等特点,这也是云计算技术快速占领市场的一个重要因素。文章分别对数据分析和云计算技术进行分析,... 在网络时代背景下,信息技术得到快速发展,在数据分析视角下云计算技术受到了更多关注,云计算技术具有存储量大、数据分析快速、操作简单等特点,这也是云计算技术快速占领市场的一个重要因素。文章分别对数据分析和云计算技术进行分析,阐述了数据分析中云计算的应用,同时对数据分析中云计算的未来发展进行探讨。 展开更多

关键词 网络数据分析 云计算技术 应用

下载PDF 职称材料

基于网络数据分析的物联网终端监控研究 被引量：2

13

作者 王聪 《电子测试》 2019年第17期57-58,128,共3页

针对传统的监控方法监测故障需要时间较长的问题,研究基于网络数据分析的物联网终端监控方法。对物联网终端数据进行过滤、提取数据特征、数据清洗等一系列处理后,将对数据集合进行分析。使用聚类算法对物联网终端数据进行聚类,通过计... 针对传统的监控方法监测故障需要时间较长的问题,研究基于网络数据分析的物联网终端监控方法。对物联网终端数据进行过滤、提取数据特征、数据清洗等一系列处理后,将对数据集合进行分析。使用聚类算法对物联网终端数据进行聚类,通过计算样本数据间距离,得到离群因子阈值。根据离群因子阈值对物联网终端数据进行处理,得到物联网终端异常数据。对异常数据进行分类、监测、识别,完成对基于网络数据分析的物联网终端监控。通过与传统方法的对比实验,验证了本文设计的监控方法能够有效缩短物联网终端故障检测时间,具有更好的使用价值。 展开更多

关键词 网络数据分析 物联网终端 监控研究 聚类

下载PDF 职称材料

网络通信流Multi-agent用于应用系统性能评价研究 被引量：1

14

作者 支晓繁 卢剑雄 张世永 《小型微型计算机系统》 CSCD 北大核心 2007年第8期1434-1438,共5页

核心业务系统整体性能不佳可能导致系统在大业务量时出现功能、效率和安全性问题,因此系统的整体性能成为业界关注重点.现代的信息系统中新型软件架构层出不穷,软硬件和网络通讯之间的相互关联作用日益复杂,加大了系统性能瓶颈查找的难... 核心业务系统整体性能不佳可能导致系统在大业务量时出现功能、效率和安全性问题,因此系统的整体性能成为业界关注重点.现代的信息系统中新型软件架构层出不穷,软硬件和网络通讯之间的相互关联作用日益复杂,加大了系统性能瓶颈查找的难度.本文研究如何通过多智能代理技术等方法,截取、分析和回放网络数据流来测量软件性能.智能代理使得整个测试的各个分支具有通讯、协作的能力.依此模型方法,在两个大型业务系统进行了性能评价实测验证,证明此方法具有一定的优越性. 展开更多

关键词 应用性能测试 网络数据流分析 多智能代理

下载PDF 职称材料

基于机器学习算法的校园网学生上网行为评估方法研究 被引量：1

15

作者 李骞 王硕 隋继学 《科技创新与应用》 2021年第33期1-5,11,共6页

随着互联网的迅速发展,大学生上网时间和频率呈指数上升趋势。在大数据环境背景下,作为教育工作者和学生管理者,如何通过上网数据了解大学生真实的学习生活情况,培养学生良好的网络习惯是高等教育质量提升的新机遇和挑战。文章提出了一... 随着互联网的迅速发展,大学生上网时间和频率呈指数上升趋势。在大数据环境背景下,作为教育工作者和学生管理者,如何通过上网数据了解大学生真实的学习生活情况,培养学生良好的网络习惯是高等教育质量提升的新机遇和挑战。文章提出了一种在线获取学生网络流量及上网日志的模型,利用随机森林(Random Forest,RF)和梯度增强决策树(Gradient Boosting Decision Tree,GBDT)两种机器学习方法进行数据分析,实现对学生上网行为的准确评估。并且为指导学生养成良好的网络习惯提出相应的建议和对策,以求提高高等教育的质量。 展开更多

关键词 机器学习 网络数据分析 网络爬虫 梯度提升决策树 随机森林 学生上网行为

下载PDF 职称材料

基于网络数据分析的物联网终端监控 被引量：1

16

作者 林浩 罗尉丹 《电子设计工程》 2020年第18期101-105,共5页

针对传统监控方法中检测故障的时间比较长的问题,设计了基于网络数据分析的物联网终端监控。利用聚类算法实现物联网终端数据的聚类,计算样本数据的距离,以此得到离群因子的阈值,从而有效处理物联网终端数据,以此能够得出物联网终端中... 针对传统监控方法中检测故障的时间比较长的问题,设计了基于网络数据分析的物联网终端监控。利用聚类算法实现物联网终端数据的聚类,计算样本数据的距离,以此得到离群因子的阈值,从而有效处理物联网终端数据,以此能够得出物联网终端中出现问题的数据。实现异常数据的监测、分类和识别,实现将网络数据作为基础的物联网终端监控设计。最后,对系统和传统方法进行对比,对本文设计监控的有效性验证,表示能够使物联网终端故障的检测时间得到缩短,使用价值较高。 展开更多

关键词 网络数据分析 物联网 终端监控 测试

下载PDF 职称材料

网络数据分析心理干预对重症监护室呼吸重症患者生活质量的影响

17

作者 李迎良 《中国新通信》 2021年第19期154-155,共2页

目的:探讨在重症监护室呼吸重症患者生活质量应用网络数据分析心理干预的影响。方法:选取重症监护病房的26例呼吸重症患者,根据患者诊断随机分成网络数据心理干预治疗的观察组13例,常规临床治疗的对照组13例,通过生存质量测定量表简表... 目的:探讨在重症监护室呼吸重症患者生活质量应用网络数据分析心理干预的影响。方法:选取重症监护病房的26例呼吸重症患者,根据患者诊断随机分成网络数据心理干预治疗的观察组13例,常规临床治疗的对照组13例,通过生存质量测定量表简表对比观察组和对照组患者生活质量。结果:两组呼吸重症患者治疗45日后,通过生存质量测定量表简表生存质量情况比较,观察组各项评分均低于对照组,心理干预优势显著,对比患者数据结果差异有统计学意义(P<0.05)。结论:在重症监护室呼吸重症患者治疗期间,实施网络数据分析心理干预治疗,能够提高患者生活质量,促进患者康复。 展开更多

关键词 网络数据分析 重症监护 呼吸重症 生活质量

下载PDF 职称材料

在线监测技术在排水诊断中的应用 被引量：7

18

作者 李萌 郭效琛 +1 位作者 赵冬泉 赵康乾 《给水排水》 CSCD 北大核心 2021年第10期124-129,共6页

以山东省县级合流制区域为例,通过开展以流量为主的在线监测,对管网运行风险、水量平衡、入流入渗等内容进行了分析,确定了后续管网进行视频检测的重点区域.应用结果表明,前期开展在线监测,能够降低区域排水诊断的综合成本,提高工作效率.

关键词 排水诊断 在线监测 管网数据分析

下载PDF 职称材料

面向智能化切片的服务化等级保障技术增强和研究 被引量：6

19

作者 夏旭 梅承力 《移动通信》 2021年第1期6-10,共5页

网络切片是5G垂直行业应用的重要使能技术,可以为不同应用场景提供差异化服务,切片服务等级保障使得运营商能够准确感知和评估各类业务的服务质量,以便进行服务质量的保障,然而,在切片的应用中,由于缺乏关于业务体验的实时监控,使运营... 网络切片是5G垂直行业应用的重要使能技术,可以为不同应用场景提供差异化服务,切片服务等级保障使得运营商能够准确感知和评估各类业务的服务质量,以便进行服务质量的保障,然而,在切片的应用中,由于缺乏关于业务体验的实时监控,使运营商无法有效评估各类业务的服务质量。为了让运营商可以有效地评估各类业务的服务质量,首先利用网络数据分析功能分析得到切片中某个业务的用户体验,然后借助人工智能技术,基于业务体验数据建立业务模型,评估整个切片在运行态的切片SLA,从而更新切片的资源配置和调度,实现SLA的增强。 展开更多

关键词 网络切片 切片服务等级保障 网络数据分析功能 人工智能

下载PDF 职称材料

基于ATT&CK模型的勒索软件组织攻击方法研究 被引量：1

20

作者 郑啸宇 杨莹 汪龙 《信息安全研究》 CSCD 2023年第11期1054-1060,共7页

自2017年WannaCry勒索病毒爆发以来,全球范围内针对政府机构、大型企业、医疗机构等的勒索软件攻击持续增加,并呈现出勒索赎金高涨,勒索软件攻击产业链愈发完善,商业化运作更加规模化、职业化等特点.因此,亟需开展针对勒索软件组织的研... 自2017年WannaCry勒索病毒爆发以来,全球范围内针对政府机构、大型企业、医疗机构等的勒索软件攻击持续增加,并呈现出勒索赎金高涨,勒索软件攻击产业链愈发完善,商业化运作更加规模化、职业化等特点.因此,亟需开展针对勒索软件组织的研究.而传统的基于网络大数据分析的攻击检测技术无法有效还原和刻画勒索软件组织的攻击链条,基于网络杀伤链模型描述勒索软件组织的攻击方法存在抽象度高、缺乏统一描述机制等问题,导致不同安全研究人员对同一勒索软件组织的描述存在差异.为了统一描述机制,完整刻画攻击链条,采用了统一原语的ATT&CK模型,针对性选取分析了Conti等9个近年异常活跃的勒索软件组织,使用ATT&CK模型描述其攻击方法,然后使用ATT&CK模型聚类了勒索软件组织在各个攻击阶段常用的技战术,最后使用ATT&CK模型针对Conti组织的勒索攻击案例进行刻画. 展开更多

关键词 WannaCry勒索病毒 勒索软件组织 基于网络大数据分析的攻击检测技术 网络杀伤链模型 ATT&CK模型

下载PDF 职称材料