-
题名基于流计算和大数据平台的实时交通流预测
被引量：1
- 1
-
-
作者
李星辉
曾碧
魏鹏飞
-
机构
广东工业大学计算机学院
-
出处
《计算机工程与设计》
北大核心
2024年第2期553-561,共9页
-
基金
国家自然科学基金项目(62172111)
广东省自然科学基金项目(2019A1515011056)。
-
文摘
目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后的数据sink到大数据的HDFS文件系统,交由下一步的大数据并行框架进行分析建模与训练,实现基于流计算和大数据平台的实时交通流预测。实验结果表明,Flink能够实时捕捉和预处理交通流数据,把数据准时无误送入分布式文件系统中,在此基础上借助大数据框架下的并行分析和建模优势,在实时性数据分析与预测方面取得了较好的效果。
-
关键词
大数据
数据并行
流计算框架
实时处理
交通流预测
分布式系统
实时性分析
-
Keywords
big data
data parallelism
stream computing framework
real-time processing
traffic flow forecasting
distributed systems
real-time analytics
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名流计算平台技术框架比较分析研究
被引量：1
- 2
-
-
作者
李山
王涛
-
机构
全国海关信息中心
-
出处
《中国口岸科学技术》
2023年第S01期94-100,共7页
-
文摘
随着现代技术的不断发展,大数据技术已经成为很多政府部门和企业决策的重要参考。海关承担着国家进出口货物贸易和海关风险管理等重要职责,大量业务数据需要及时处理与准确分析。对于数据的处理与分析,Spark Streaming和Flink两种流式计算框架具有很多优势。本文通过分析海关业务的流式数据分析过程,对SparkStreaming和Flink两种流式计算框架做了深度对比,并结合实际案例进行分析,以便更好地为海关业务选择适合的流式计算框架提供理论支撑。
-
关键词
流式计算
流式数据
框架
-
Keywords
stream computing
stream data
framework
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
-
题名流式计算在交通信息实时处理中的应用框架初探
被引量：1
- 3
-
-
作者
张丽岩
马健
-
机构
苏州科技学院土木工程学院
同济大学交通运输工程学院
-
出处
《物流科技》
2014年第9期8-9,共2页
-
基金
国家自然科学基金面上项目
项目编号:71072027
+3 种基金
住房和城乡建设部项目
项目编号:2013-K5-27
江苏省高校自然基金面上项目
项目编号:12KJB580005
-
文摘
文章从交通领域的需求和流式计算(Stream Computing,SC)的特点入手,简单介绍了交通信息数据的特点以及流式计算的优势和应用状况。在此基础上,提出了多源交通信息实时处理的框架和过程,它为研究交通信息实时处理和在线诱导等一系列交通应用提供了理论基础和可行性指导,为交通实时系统的实现提供了新的途径。
-
关键词
交通信息处理
流式计算
实时处理
应用框架
-
Keywords
traffic information processing
stream computing
real-time processing
application framework
-
分类号
F50
[经济管理—产业经济]
-
