交通流数据清洗规则研究 被引量：22

1

作者 王晓原 张敬磊 吴芳 《计算机工程》 CAS CSCD 北大核心 2011年第20期191-193,共3页

交通检测器获得的数据存在无效、冗余、错误、时间点漂移及丢失等质量问题。为此,在分析影响数据质量问题原因的基础上,给出交通流数据清洗的概念,研究"脏数据"的清洗规则与清洗步骤,并对环形线圈检测器检测到的数据进行验证... 交通检测器获得的数据存在无效、冗余、错误、时间点漂移及丢失等质量问题。为此,在分析影响数据质量问题原因的基础上,给出交通流数据清洗的概念,研究"脏数据"的清洗规则与清洗步骤,并对环形线圈检测器检测到的数据进行验证。结果表明,该清洗规则对错误、丢失、冗余等"脏数据"的识别率均在90%以上。 展开更多

关键词 交通流 智能运输系统 数据质量 数据清洗 规则

下载PDF 职称材料

ADS-B历史飞行轨迹数据清洗方法 被引量：9

2

作者 王兵 《交通运输工程学报》 EI CSCD 北大核心 2020年第4期217-226,共10页

为有效解决广播式自动相关监视(ADS-B)历史飞行轨迹数据受地面站分布广度、地形阻挡、电磁干扰等影响而出现的各种字段数据异常情况,建立了ADS-B数据清洗方法,并将其分为确定清洗对象、字段去重、异常点清理和时间戳修正这4个步骤;根据... 为有效解决广播式自动相关监视(ADS-B)历史飞行轨迹数据受地面站分布广度、地形阻挡、电磁干扰等影响而出现的各种字段数据异常情况,建立了ADS-B数据清洗方法,并将其分为确定清洗对象、字段去重、异常点清理和时间戳修正这4个步骤;根据已有样本ADS-B历史数据各字段建立了航迹模型并进行有效性分析,将时间戳、经度、纬度、气压高度和地速等字段定义为特征字段,并作为清洗对象;对ADS-B航迹点序列的时间戳、经度和纬度进行去重,删除数据重复的相邻航迹点;为提高清洗效率,使用有噪声的密度聚类(DBSCAN)方法找出特征字段中的离群点,并进行异常检测与修正;为使航迹点状态变化符合质点运动学规律,使用ADS-B航迹点的经度、纬度、气压高度和地速等字段数据修正时间戳,并存入已扩展的修正后时间戳字段。研究结果表明:516个样本航班中有97.58%的异常航迹点被有效识别并清理,清洗后的航迹点状态更具有渐变性特征;修正前后的总飞行历时存在10~600 s的差异;时间戳修正效果主要依赖于地速的准确度,在实际工程中可根据样本航迹的数据特点有选择地使用时间戳修正值;建立的ADS-B数据清洗方法可为民用航空工程项目中的飞行轨迹分析、评估与计算等方面提供前期数据处理平台。 展开更多

关键词 空中交通 ADS-B飞行轨迹 数据清洗 DBSCAN方法 局部遍历 时间戳修正

原文传递

基于手机信令数据的交通方式识别模型

3

作者 宋丽华 于磊 +1 位作者 张扬 马东超 《计算机工程与设计》 北大核心 2024年第11期3441-3447,共7页

为解决现有研究在区分居民交通方式方面存在的问题,提出一个基于手机信令数据的居民交通方式分类模型。模型数据清洗部分采用滑动窗口方式提取3类特征训练模型,成功检测出80%以上的噪声数据;交通识别部分划分为3个二分类问题,即机动车... 为解决现有研究在区分居民交通方式方面存在的问题,提出一个基于手机信令数据的居民交通方式分类模型。模型数据清洗部分采用滑动窗口方式提取3类特征训练模型,成功检测出80%以上的噪声数据;交通识别部分划分为3个二分类问题,即机动车与非机动车、步行和骑行、公交车和私家车。模型利用自主采集的信令数据,结合路网、导航数据和站点匹配算法,设计出居民交通方式分类模型。实验结果表明,与其它方法相比,公交车和私家车的分类准确率达到94%,4种分类结果的整体准确率达到了86.76%,验证了该设计的准确性和可行性。 展开更多

关键词 城市交通 交通方式识别 数据清洗 信令数据 站点匹配 出行链特征提取 轨迹数据

下载PDF 职称材料

道路清扫工艺和相关设备结构改进的除尘效果 被引量：2

4

作者 程刚 《交通节能与环保》 2014年第1期44-46,共3页

道路清扫工作质量的优劣直接关系到道路交通的服务质量,而清扫作业时往往难以消除的灰尘飞扬又使得作业环境十分恶劣。提高道路清扫质量,降低环境污染,是道路交通管理和日常养护工程单位长期追求的工作目标之一。在道路清扫设备上增设... 道路清扫工作质量的优劣直接关系到道路交通的服务质量,而清扫作业时往往难以消除的灰尘飞扬又使得作业环境十分恶劣。提高道路清扫质量,降低环境污染,是道路交通管理和日常养护工程单位长期追求的工作目标之一。在道路清扫设备上增设边刷吸尘装置并改进传统的喷淋降尘系统,是达成上述目标的有益尝试。 展开更多

关键词 道路交通 清扫作业 吸尘装置 环境保护

下载PDF 职称材料

超大异常流量攻击的防御思路探讨 被引量：2

5

作者 刘东鑫 何明 汪来富 《中兴通讯技术》 2015年第6期54-58,共5页

提出了应对超大异常流量攻击的防御思路,该思路中将防御策略分为短期策略和长期策略。短期措施主要在现有异常流量防护措施的基础上,进一步提升对超大异常流量攻击的防护能力;而长期策略试图从虚假源地址过滤、开放服务的协议方面进行... 提出了应对超大异常流量攻击的防御思路,该思路中将防御策略分为短期策略和长期策略。短期措施主要在现有异常流量防护措施的基础上,进一步提升对超大异常流量攻击的防护能力;而长期策略试图从虚假源地址过滤、开放服务的协议方面进行改进。随着可利用的DNS、NTP等公共服务器资源将逐步减少,攻击者将转为挖掘新的可用于流量反射放大的应用协议。由于以"反射、放大流量"为特性的超大异常流量攻击仍将保持发展,对它的安全防御仍有待在实践中检验和不断完善。 展开更多

关键词 异常流量 放大攻击 流量清洗

下载PDF 职称材料

无检测器道路交通流数据质量检测方法 被引量：1

6

作者 王方 李华 杜金玲 《计算机工程》 CAS CSCD 2014年第3期218-223,共6页

一般交通流数据质量检测方法要求的原始数据量较大,而无检测器道路可获得的交通流数据又非常有限。为此,提出一种基于灰色系统理论的无检测器道路交通流数据质量检测方法。该方法将不同检测点获得的原始交通流数据处理成一组数据序列,... 一般交通流数据质量检测方法要求的原始数据量较大,而无检测器道路可获得的交通流数据又非常有限。为此,提出一种基于灰色系统理论的无检测器道路交通流数据质量检测方法。该方法将不同检测点获得的原始交通流数据处理成一组数据序列,通过对数据序列的灰生成、灰色关联度计算及标准化处理,求得不同数据序列相互间关系的密切程度参数λ_i,根据需求选出阈值λ,比较λ_i与λ之间的大小,实现无检测器道路交通流异常数据检测的目的。运用杭州市某一局部路网的浮动车交通流原始数据,将该方法与基于相似系数和的检测方法进行对比实验,结果证明,该方法的检测效果优于基于相似系数和的检测方法,平均错检率降低了21.00%,平均准确率提高了28.64%。 展开更多

关键词 智能交通 交通流 脏数据 数据清洗 数据质量 灰色系统理论

下载PDF 职称材料

构建多层次的互联网DNS系统安全防护体系 被引量：1

7

作者 程琦 陈灿 《现代电信科技》 2017年第5期61-66,共6页

根据DNS业务特点,通过在省干出口路由器与城域接入路由器、防火墙、DNS服务器、解析软件以及抗DDoS系统等五个层面进行安全策略加固与优化,构建了多层次的安全防护体系。

关键词 DNS DOS&DDOS 流量清洗 互联网 安全

下载PDF 职称材料

从成本角度对交通场站委外管理模式的探索

8

作者 陈雪 《城市公共交通》 2023年第1期39-42,共4页

在国家大力倡导“交通强国”的背景下,各地方、各企业积极规划并发展铁路、公交、轨道交通等公共交通方式,由此交通场站数量逐步增加。大多场站公司仍以政府补贴为主要收入来维持企业运营。为减少政府补贴压力,场站运营公司积极开展降... 在国家大力倡导“交通强国”的背景下,各地方、各企业积极规划并发展铁路、公交、轨道交通等公共交通方式,由此交通场站数量逐步增加。大多场站公司仍以政府补贴为主要收入来维持企业运营。为减少政府补贴压力,场站运营公司积极开展降本增效活动、拓展市场化业务、培养复合型人才,以尽力满足自给自足甚至盈利。在此背景下,本文以交通场站保洁人员的管理模式为例,从成本角度进行分析,查找目前管理模式的不足并探索新的管理模式,以供场站运营行业人员参考。 展开更多

关键词 交通场站 委外管理 保洁 运营模式

下载PDF 职称材料

大规模拒绝服务(DDoS)攻击的防御与清洗系统

9

作者 李振兴 王萌 +2 位作者 李光程 陈炫慧 卢文静 《智能计算机与应用》 2016年第4期91-92,共2页

首先建立DDoS攻击特征的选择、表示、分析以及模型求解。然后,在此基础上研究基于敏感访问参数可变阈值约束的DDoS攻击防御方法。最后,研究基于可变概率标记的DDoS攻击流量清洗技术。

关键词 DDOS 攻击特征 防御方法 流量清洗

下载PDF 职称材料

基于Hadoop的网站流量日志数据分析系统的设计

10

作者 来学伟 《新一代信息技术》 2021年第17期7-10,共4页

以网站流量日志数据分析系统的设计为例,实现了把网站流量数据以图表等可视化形式显示出来,根据结论为人们提供决策改进的依据。使用Hadoop生态圈来获取数据,然后对数据进行清洗和预处理,得到有效数据后,根据有效数据进行Web开发,以可... 以网站流量日志数据分析系统的设计为例,实现了把网站流量数据以图表等可视化形式显示出来,根据结论为人们提供决策改进的依据。使用Hadoop生态圈来获取数据,然后对数据进行清洗和预处理,得到有效数据后,根据有效数据进行Web开发,以可视化图表的方式展示给客户。客户可以根据可视化的图表对网站提出改进和完善的策略。该系统对于大数据应用程序的开发有一定的借鉴意义。 展开更多

关键词 网站流量 数据清洗 数据分析系统

下载PDF 职称材料

基于E1承载信道作比特流分析的流量清洗

11

作者 易卫明 李慧 杨扬 《无线通信技术》 2021年第3期28-32,共5页

随着网络技术和网络经济的发展,网络对企业和个人的重要程度不断地增加。同时,网络中存在的安全漏洞却也在相应地增加,网络安全问题所造成的影响也会越来越大。网络攻击的威胁越来越受经济利益驱使,朝着规模化、智能化和产业化发展。本... 随着网络技术和网络经济的发展,网络对企业和个人的重要程度不断地增加。同时,网络中存在的安全漏洞却也在相应地增加,网络安全问题所造成的影响也会越来越大。网络攻击的威胁越来越受经济利益驱使,朝着规模化、智能化和产业化发展。本文主要研究的是针对E1承载信道作比特流分析的流量清洗,从协议分析方法和信源编码分析两个方面分析。 展开更多

关键词 流量清洗 E1信号 协议分析 信源编码

下载PDF 职称材料

缓冲区分析方法在事故多发点鉴别的应用研究 被引量：12

12

作者 王海 李瑞敏 《公路工程》 北大核心 2016年第1期103-107,共5页

道路事故多发点鉴别是道路交通安全管理工作的重要内容,提出了基于改进的缓冲区分析技术的事故多发点鉴别方法。在对三类"异常数据"进行清洗的基础上,提出了改进的点缓冲区分析方法,即采取"变长半径的点缓冲区分析"... 道路事故多发点鉴别是道路交通安全管理工作的重要内容,提出了基于改进的缓冲区分析技术的事故多发点鉴别方法。在对三类"异常数据"进行清洗的基础上,提出了改进的点缓冲区分析方法,即采取"变长半径的点缓冲区分析"和"叠置分析"相结合的方法进行事故多发点鉴别。将该方法在某城市部分交通事故数据的基础上进行了应用,得到了有关交通事故的3个多发区域和2个多发路段。结果表明,本文提出的改进的缓冲区分析技术可以用于有效的道路事故多发点鉴别。 展开更多

关键词 交通安全管理 事故多发点鉴别 数据清洗 缓冲区分析 叠置分析

下载PDF 职称材料

杭州地铁控制中心暖通空调设计 被引量：4

13

作者 肖传德 《暖通空调》 北大核心 2014年第3期72-75,83,共5页

结合杭州地铁控制中心工程的设计,分析了地铁控制中心各功能区域的特点,介绍了设备机房空调负荷的确定方法,设备机房及UPS电源室、指挥大厅等区域的空调系统设计,简述了水环VRF空调系统在控制中心的应用。实际运行表明其空调系统有利于... 结合杭州地铁控制中心工程的设计,分析了地铁控制中心各功能区域的特点,介绍了设备机房空调负荷的确定方法,设备机房及UPS电源室、指挥大厅等区域的空调系统设计,简述了水环VRF空调系统在控制中心的应用。实际运行表明其空调系统有利于节能,并能适应地铁线路分期进驻的特点。 展开更多

关键词 城市轨道交通 控制中心 指挥中心 票务结算中心 机房专用空调 节能

下载PDF 职称材料

基于Spark的多阶空间权重矩阵STARIMA交通流预测分析方法 被引量：3

14

作者 李欣 《中山大学学报（自然科学版）》 CAS CSCD 北大核心 2018年第6期41-49,共9页

为了缓解城市拥堵,建立可以预测交通流量的智能交通管理平台。在Spark框架基础上利用孤立点检测算法对实时海量增长的交通流数据进行清洗统计,设计负载均衡规则对数据进行并行注册与存储,通过语义解析和逻辑优化实现分布式语义查询,并... 为了缓解城市拥堵,建立可以预测交通流量的智能交通管理平台。在Spark框架基础上利用孤立点检测算法对实时海量增长的交通流数据进行清洗统计,设计负载均衡规则对数据进行并行注册与存储,通过语义解析和逻辑优化实现分布式语义查询,并利用基于多阶空间权重矩阵STARIMA模型完成交通流预测。通过对比实验证明:(1)交通流数据清洗、统计、注册和存储方法,有效利用了Spark框架的内存计算和迭代计算优势,在大数据环境下,此方法比基于MPI或MapReduce的方法耗时减少60%左右,可以在预测周期内完成数据预处理工作;(2)语义查询方法将所需数据提供给交通流预测模型,模型中的多阶空间权重矩阵可以更加准确的体现交通流多阶分配规律,与动态STARIMA模型相比预测分析的准确度可提高25%左右,可以为交通诱导信息发布提供参考依据。 展开更多

关键词 SPARK 交通流预测 数据清洗 相关性分析 空间权重矩阵

下载PDF 职称材料

固定道小麦免耕宽幅播种机的研制与试验 被引量：2

15

作者 王树东 鄢雄磊 +3 位作者 李问盈 王宪良 魏忠彩 王浩 《农机化研究》 北大核心 2019年第11期110-114,121,共6页

针对国内小麦玉米一年两熟轮作的种植模式,研制了一款大幅宽、带有种床清理功能的固定道小麦免耕播种机。工作时,热弯种管结构简单紧凑,可实现仿形限深;破茬开沟装置可实现对部分秸秆的砍切,并采用梯形刀将覆盖在垄沟上的秸秆分拢至垄背... 针对国内小麦玉米一年两熟轮作的种植模式,研制了一款大幅宽、带有种床清理功能的固定道小麦免耕播种机。工作时,热弯种管结构简单紧凑,可实现仿形限深;破茬开沟装置可实现对部分秸秆的砍切,并采用梯形刀将覆盖在垄沟上的秸秆分拢至垄背,从而形成清洁的种床;在田间非作业状态下,行走机构可实现机架的提升。田间试验结果表明:机具的通过性能良好,种肥深度一致性均达到国家标准中的作业要求,种床秸秆残留率在13. 9%～23. 7%之间,具有较好的种床清理效果。 展开更多

关键词 固定道 免耕播种 种床清理 抛撒

下载PDF 职称材料

常见网络攻击手段分析及防御 被引量：2

16

作者 周伟 《电脑知识与技术》 2009年第6X期4701-4703,共3页

网络中的应用越来越多,通过网络的攻击手段也越来越多,该文简单的介绍了ARP欺骗、监听、拒绝服务三种常见攻击手段的原理,并针对当前网络中常见的网络攻击手段结合最新的一些技术,整体给出了防御网络常见攻击的方法。

关键词 ARP欺骗 监听 拒绝服务 云安全 流量清洗 入侵检测

下载PDF 职称材料

基于机器学习的交通流参数异常数据处理模型研究 被引量：2

17

作者 周博 贾树林 +2 位作者 胡江宇 马双宝 罗维平 《武汉纺织大学学报》 2021年第2期9-14,共6页

交通流数据作为交通系统重要的输入变量,交通流数据采集器所采集的交通流数据质量直接影响着交通系统运行的稳定性;针对交通流数据中所出现的采样数据异常情况,提出一种基于随机森林的缺失值填补及孤立森林算法的交通流异常数据筛选方法... 交通流数据作为交通系统重要的输入变量,交通流数据采集器所采集的交通流数据质量直接影响着交通系统运行的稳定性;针对交通流数据中所出现的采样数据异常情况,提出一种基于随机森林的缺失值填补及孤立森林算法的交通流异常数据筛选方法,在此基础上通过线性回归模型对数据中缺失值及异常值进行填补构建整体交通流数据有效性处理框架;结果表明经过异常值处理模型修复的数据整体满足有效交通流数据要求,可为交通情况预测及交通系统运行提供数据支撑。 展开更多

关键词 交通流数据 数据清洗 孤立森林 线性回归 异常值处理

下载PDF 职称材料

校园网DDoS攻击防御平台建设方案研究 被引量：1

18

作者 张胡 《电脑知识与技术》 2008年第11X期1326-1328,共3页

分布式拒绝服务攻击(DDoS)已经成为互联网最大的威胁之一。分析了校园网现状,建立了业务模型,提出了流量清洗设备的功能要求,设计了一种校园网DDoS攻击防御平台的设计方案。并分析了DDOS攻击清洗方案的流量牵引技术、触发技术、流量清... 分布式拒绝服务攻击(DDoS)已经成为互联网最大的威胁之一。分析了校园网现状,建立了业务模型,提出了流量清洗设备的功能要求,设计了一种校园网DDoS攻击防御平台的设计方案。并分析了DDOS攻击清洗方案的流量牵引技术、触发技术、流量清洗技术与流量回注技术。 展开更多

关键词 网络安全 分布式拒绝服务攻击 流量控制 流量清洗

下载PDF 职称材料

零规则的Web攻击检测技术研究

19

作者 裴庆庆 《软件》 2023年第11期124-126,共3页

为了使国内电力系统对于外界网络威胁入侵的抵御力增强,本文以传统电力系统为基础,就安全性能方面对其进行改造,在原有的电力系统中加入当前市场较为流行的USG零规则防火墙和DDoS流量清洗系统,使其对网络威胁入侵的抵御性增强,随后选取... 为了使国内电力系统对于外界网络威胁入侵的抵御力增强,本文以传统电力系统为基础,就安全性能方面对其进行改造,在原有的电力系统中加入当前市场较为流行的USG零规则防火墙和DDoS流量清洗系统,使其对网络威胁入侵的抵御性增强,随后选取当前四种对电力系统威胁较大的网络入侵手段,通过未出厂的系统进行预先入侵测试,主要测试两种系统对于网络威胁入侵的抵御能力和被入侵后系统的受损程度,结果表明,添加了USG零规则防火墙的电力系统相较于传统电力系统拥有更为优秀的抵御网络入侵的能力,为未来的电力系统防御机制提供了研究方向。 展开更多

关键词 电力系统 Web攻击检测技术 USG零规则防火墙 网络威胁入侵 DDoS流量清洗

下载PDF 职称材料

服务于快速路设计的冰雪影响程度预测模型研究

20

作者 练象平 狄升贯 《城市道桥与防洪》 2016年第1期144-148,16,共5页

该研究的任务是开发一个冰雪影响程度预测模型,计算一次降雪对道路交通的影响程度,综合考虑城市的气候条件、冰雪维护能力,针对现有快速路设计标准的不足,提出城市冰雪影响等级的划分方法,为冰雪条件下城市快速路设计优化提供基础。模... 该研究的任务是开发一个冰雪影响程度预测模型,计算一次降雪对道路交通的影响程度,综合考虑城市的气候条件、冰雪维护能力,针对现有快速路设计标准的不足,提出城市冰雪影响等级的划分方法,为冰雪条件下城市快速路设计优化提供基础。模型的建立需要3个步骤,首先,分析决定冰雪影响程度的6个因素;其次,使用多重回归模型建立一个值在0和1之间的冰雪影响程度模型;最后,模型根据冬季养护人员对冰雪影响程度的评分对模型进行修正,以产生合理客观的冰雪影响程度模型。 展开更多

关键词 交通工程 冰雪影响程度 预测模型 城市快速路 除雪能力

下载PDF 职称材料