智能电网时序大数据实时处理系统 被引量：29

1

作者 王远 陶烨 +2 位作者 蒋英明 陈波 陈立宇 《计算机应用》 CSCD 北大核心 2015年第A02期88-92,共5页

针对智能电网时序数据设备多、数据规模大、产生速度快等特点,设计并实现了一个面向智能电网的时序大数据实时处理系统。针对电网领域"批量"与"快照"两类典型场景,提出面向场景的时序数据采集技术,实现了时序数据... 针对智能电网时序数据设备多、数据规模大、产生速度快等特点,设计并实现了一个面向智能电网的时序大数据实时处理系统。针对电网领域"批量"与"快照"两类典型场景,提出面向场景的时序数据采集技术,实现了时序数据的高速、可靠采集;基于流计算技术,实现了各类时序数据的高速预处理;设计了面向时序数据的混合存储模型,综合应用键值模型与关系模型,实现了时序数据的可靠存储和高效访问。通过模拟某省用电信息采集应用场景,验证了系统性能:单节点数据采集能力超过1 000万/秒,查询可达到秒级甚至微秒级响应。 展开更多

关键词 大数据 时序 智能电网 实时处理 流计算 键值模型 关系模型

下载PDF 职称材料

基于云架构的交通感知数据集成处理平台 被引量：12

2

作者 赵卓峰 丁维龙 韩燕波 《计算机研究与发展》 EI CSCD 北大核心 2016年第6期1332-1341,共10页

海量、多源、不间断的交通感知数据环境下,如何提供集成化的交通感知数据处理支持是多样化交通应用实施中的难点.现有的通用计算框架及平台由于缺少对具有时空相关等特征的交通感知数据和应用间交通感知数据共享的支持,使得交通感知数... 海量、多源、不间断的交通感知数据环境下,如何提供集成化的交通感知数据处理支持是多样化交通应用实施中的难点.现有的通用计算框架及平台由于缺少对具有时空相关等特征的交通感知数据和应用间交通感知数据共享的支持,使得交通感知数据处理应用的开发存在较高的复杂性并且易于造成大量重复的数据跨节点传输而影响应用性能.针对此问题,通过分析交通感知数据及其处理需求特征,提出一种基于可跨应用共享的时空数据对象的交通感知数据处理模型,通过引入时空数据对象这一新的概念抽象并提供易并行划分的时空数据对象组织及共享支持,实现分布计算中对时空型交通感知数据的优化管理.在此基础上,设计并实现了交通感知数据集成处理平台.通过实际应用和基于真实交通数据的实验测试表明:该平台相对于传统的交通感知数据处理方法及系统在性能及扩展性等方面均具有一定的优势. 展开更多

关键词 云架构 交通感知数据 时空数据对象 实时MapReduce 流计算

下载PDF 职称材料

面向电力大数据的多数据流实时处理技术研究 被引量：8

3

作者 孟庆强 胡牧 +1 位作者 孙立华 郑浩泉 《计算机与数字工程》 2018年第5期987-991,共5页

随着电力大数据的形成与深化应用,传统数据批处理技术已不能满足当前电网实时应用要求,多源数据的即时获取和实时关联计算已成为制约电力大数据全面应用的关键因素。论文梳理了国内外大数据实时处理的技术发展现状,探讨了电力大数据实... 随着电力大数据的形成与深化应用,传统数据批处理技术已不能满足当前电网实时应用要求,多源数据的即时获取和实时关联计算已成为制约电力大数据全面应用的关键因素。论文梳理了国内外大数据实时处理的技术发展现状,探讨了电力大数据实时处理的应用需求,提出了一种面向多用户的电力大数据流计算服务体系,搭建了电力大数据实时流计算处理平台,以低压用户电量计算为典型应用场景对电力大数据实时计算平台的处理性能进行了验证。 展开更多

关键词 电力大数据 批处理 多数据流 实时处理 流计算

下载PDF 职称材料

基于微博的灾害信息快速提取方法研究 被引量：6

4

作者 郑嵘 张晨晓 +1 位作者 乐鹏 梁哲恒 《测绘地理信息》 2020年第5期133-137,共5页

提出了一个灾害微博的实时处理框架,框架基于Spark流计算平台,利用从灾害历史微博数据中提取的信息对获取到的灾害微博进行实时分类统计。以2017年九寨沟地震和林芝地震为例,基于爬虫、文本预处理、文本分类模型等方法实现了灾害微博实... 提出了一个灾害微博的实时处理框架,框架基于Spark流计算平台,利用从灾害历史微博数据中提取的信息对获取到的灾害微博进行实时分类统计。以2017年九寨沟地震和林芝地震为例,基于爬虫、文本预处理、文本分类模型等方法实现了灾害微博实时处理原型系统,并通过实验验证了原型系统的可用性。 展开更多

关键词 灾害应急响应 社交媒体 实时处理 文本分类 流计算平台

原文传递

云环境下的航天测控信号处理平台 被引量：5

5

作者 闫迪 王元钦 +2 位作者 马宏 刘燕都 孙克 《电讯技术》 北大核心 2018年第5期493-499,共7页

当今世界已进入大数据和云计算时代,引发包括航天测控领域在内的各行业进行工作模式和思维方式的变革。提出了一种用于航天测控站的全站计算环境(TSCE),为整个测控站提供统一的通用计算环境,具有成本低、软件化、综合化、可伸缩、可靠... 当今世界已进入大数据和云计算时代,引发包括航天测控领域在内的各行业进行工作模式和思维方式的变革。提出了一种用于航天测控站的全站计算环境(TSCE),为整个测控站提供统一的通用计算环境,具有成本低、软件化、综合化、可伸缩、可靠性高等优点。从逻辑视图、物理视图和功能视图三个角度对TSCE的体系结构进行了描述。研究表明,现有实时流计算系统不适用于航天测控信号处理,因此,提出一种层次化并行处理框架(HPPF),可通过调整HPPF的信号块长度和支路数目两个参数,使之满足实时性要求。 展开更多

关键词 云计算 航天测控站 全站计算环境 体系结构 实时流计算

下载PDF 职称材料

基于FKS的信令采集与监控技术 被引量：5

6

作者 汪保友 姚健 张正卿 《电信科学》 2018年第3期145-155,共11页

运营商信令数据具有丰富的应用价值,但其价值时效性强,随着时间的流逝而快速衰减。为了更好地服务于实时营销场景,必须有效提升信令数据的实时处理及分析能力。首先介绍某运营商基于FKS的信令采集处理方案,该方案综合发挥了Flume、Kafka... 运营商信令数据具有丰富的应用价值,但其价值时效性强,随着时间的流逝而快速衰减。为了更好地服务于实时营销场景,必须有效提升信令数据的实时处理及分析能力。首先介绍某运营商基于FKS的信令采集处理方案,该方案综合发挥了Flume、Kafka、Spark Streaming三组件的各自优势,对运营商打造实时决策中心,起着重要支撑作用。此外,提出针对Kafka中消费者组对各主题(topic)消费情况的监控方案,该方案对实时流采集故障及时预警提供了有效的手段,在某运营商大数据平台运营实践过程中,有效减少信令消息队列拥堵现象,规避信令数据丢失风险,对实际生产运营支撑起着良好的保障作用。 展开更多

关键词 实时流 监控 Kafka 大数据 流计算

下载PDF 职称材料

基于实时流式计算系统的数据分类节能策略 被引量：4

7

作者 蒲勇霖 于炯 +3 位作者 鲁亮 廖彬 王跃飞 罗世奇 《计算机工程与设计》 北大核心 2017年第1期59-64,74,共7页

为解决实时流式计算中数据存储的能耗问题,采用内存分类存储的思想,提出数据分类策略(data classification strategy,DCS)。将内存存储划分为实时文件区与重复文件区;针对实时文件区中的数据,通过降低预存储区(precharge fast powerdown... 为解决实时流式计算中数据存储的能耗问题,采用内存分类存储的思想,提出数据分类策略(data classification strategy,DCS)。将内存存储划分为实时文件区与重复文件区;针对实时文件区中的数据,通过降低预存储区(precharge fast powerdown,PRE zone)的峰值电压,关闭大量的数据节点,使服务器预存储区的部分数据进入不常用文件区,通过布隆过滤器(Bloom filter)过滤重复文件区的重复数据。实验结果表明,该策略在存储方面有效节能约27.2%,提高了系统的效率。 展开更多

关键词 实时流式计算 能耗 数据分类 节能策略 布隆过滤器

下载PDF 职称材料

基于实时数据流的煤矿监测数据流计算模式分析 被引量：2

8

作者 赵安新 张玲 +1 位作者 翟勃 卫晨 《煤炭技术》 北大核心 2017年第12期202-204,共3页

结合煤矿的现场实际情况和大数据中流计算框架,提出了基于Spark streaming的煤矿实时数据应用的流计算框架。该计算框架可以高效、快速处理来自于监测监控系统的不同系统、不同接口、不同传输速率的要求,快速地采集和处理监测监控系统... 结合煤矿的现场实际情况和大数据中流计算框架,提出了基于Spark streaming的煤矿实时数据应用的流计算框架。该计算框架可以高效、快速处理来自于监测监控系统的不同系统、不同接口、不同传输速率的要求,快速地采集和处理监测监控系统的实时数据流,融合处理各业务系统的实时数据。该框架的建立可以使得基于采、掘、机、运、通等内容的矿井整体建立运营管控模型,在矿井生产全过程实现信息可采、过程可视、运行可控的能力,确保生产过程信息的完整性、可靠性、真实性。 展开更多

关键词 煤矿 安全生产 实时数据流 流计算

下载PDF 职称材料

基于分布式实时流数据的交通速度计算方法 被引量：2

9

作者 赵云聪 刘纪平 仇阿根 《测绘与空间地理信息》 2019年第2期54-57,共4页

随着城市规模的不断扩大,道路拥堵已经成为制约经济发展以及影响居民生活的一个重要因素,根据道路交通速度发现拥堵成为了解决这一问题的首要手段。道路交通速度计算的准确性和时效性是影响动态交通管理措施实施效果的关键因素。本文利... 随着城市规模的不断扩大,道路拥堵已经成为制约经济发展以及影响居民生活的一个重要因素,根据道路交通速度发现拥堵成为了解决这一问题的首要手段。道路交通速度计算的准确性和时效性是影响动态交通管理措施实施效果的关键因素。本文利用GPS浮动车技术获得的流数据,引入实时计算和流式计算平台Storm对数据进行分析处理,通过道路速度计算达到实时发现拥堵交通的目的,为交通管理部门疏导交通以及广大用户出行的道路选择提供参考依据。 展开更多

关键词 实时流计算 GPS浮动车 STORM 道路速度计算

下载PDF 职称材料

流计算及其在电信实时营销中的应用 被引量：2

10

作者 裴国才 《信息通信》 2018年第3期239-241,共3页

移动互联网时代,随着新技术的不断涌现,市场竞争愈加激烈,实时营销的需求逐渐增大。通过调研分析大数据实时流式处理技术,并结合其在满足非功能性需求方面的独特优势,设计了一个可以同时满足大数据存储、大数据实时处理的实时营销平台... 移动互联网时代,随着新技术的不断涌现,市场竞争愈加激烈,实时营销的需求逐渐增大。通过调研分析大数据实时流式处理技术,并结合其在满足非功能性需求方面的独特优势,设计了一个可以同时满足大数据存储、大数据实时处理的实时营销平台。实时数据处理首先将实时数据以日志的形式存储在Flume中,然后再通过Strom和Spark Streaming工具对实时数据进行实时处理与分析,并对数据进行标签,并将生成的标签存储在Redis数据库中,为发现目标用户进行精准营销做准备。 展开更多

关键词 电信大数据 实时营销 流计算

下载PDF 职称材料

面向大数据的计算框架研究 被引量：1

11

作者 杨东芳 王少英 《河南科技》 2015年第1X期20-22,共3页

随着大数据、云计算的到来,各种业务也开始依赖大数据,包括各互联网公司也对数据有了前所未有的重视,目前的数据处理系统主要包括批处理系统和实时处理系统,而且这些业务越来越要求实时性,客户使用云服务可以避免复杂的系统设计和设备... 随着大数据、云计算的到来,各种业务也开始依赖大数据,包括各互联网公司也对数据有了前所未有的重视,目前的数据处理系统主要包括批处理系统和实时处理系统,而且这些业务越来越要求实时性,客户使用云服务可以避免复杂的系统设计和设备的多次购买费用。本文主要分析了当前的计算框架,以此构建基于云服务的大数据分析系统,使其具有良好的扩展性、兼容性及大数据处理引擎的自适应性选择。 展开更多

关键词 大数据 云计算 实时计算 批处理 流计算 自适应性

下载PDF 职称材料

基于流计算的保险大宽表系统的应用研究 被引量：1

12

作者 安建民 周一波 彭送庭 《现代计算机》 2021年第31期51-55,共5页

随着保险业务的快速发展,每天都有大量的保险数据产生,传统的保险业务系统内新增和变化的数据不能实时地体现到业务人员的客户端上,一定程度上影响了业务人员的工作效率,不能满足当下保险系统的实时应用需求。为此,系统通过采用分布式... 随着保险业务的快速发展,每天都有大量的保险数据产生,传统的保险业务系统内新增和变化的数据不能实时地体现到业务人员的客户端上,一定程度上影响了业务人员的工作效率,不能满足当下保险系统的实时应用需求。为此,系统通过采用分布式流计算技术,实现一个流式大宽表数据系统,提升保单数据的计算性能。同时采用MPP数据库,提高了对海量数据的分析处理和并行数据计算能力,让业务人员能够即时知晓最新保单和汇总数据的变化情况。实验证明,该设计确实可以实现让数据实时同步到客户端上,有极高的可用性和可扩展性,并已应用于实际系统。 展开更多

关键词 实时同步 流计算 分布式计算 保险数据

下载PDF 职称材料

互联网广告流式处理系统的设计与实现

13

作者 郑国英 张扬 《微型电脑应用》 2019年第6期85-88,共4页

随着互联网的迅猛发展,越来越多的互联网广告开始出现.互联网广告以其精准,快速,高效的投放,给广告主带来了丰厚的回报.通过对广告投放系统实时数据处理的分析,针对重定向和实时数据统计等问题,提出了流式处理的方案,运用Storm等技术,... 随着互联网的迅猛发展,越来越多的互联网广告开始出现.互联网广告以其精准,快速,高效的投放,给广告主带来了丰厚的回报.通过对广告投放系统实时数据处理的分析,针对重定向和实时数据统计等问题,提出了流式处理的方案,运用Storm等技术,设计并实现一种广告投放的流式数据处理系统,详细论述了其设计与实现过程. 展开更多

关键词 互联网广告 实时 流式计算 STORM

下载PDF 职称材料

基于Spark Streaming的增量协同过滤算法 被引量：1

14

作者 曾志武 蔡明 《软件导刊》 2018年第6期88-91,共4页

针对协同过滤算法处理大数据流时响应慢的缺陷,在改善推荐准确度的情况下,提出增量更新算法以加快响应速度,提高推荐系统性能。介绍了当前协同过滤算法以及KNN和Spark的相关知识,阐述了协同过滤算法的增量模型。采用Group Lens网站提供... 针对协同过滤算法处理大数据流时响应慢的缺陷,在改善推荐准确度的情况下,提出增量更新算法以加快响应速度,提高推荐系统性能。介绍了当前协同过滤算法以及KNN和Spark的相关知识,阐述了协同过滤算法的增量模型。采用Group Lens网站提供的Movie Lens数据集作为实验数据,应用Socket模拟流和Spark并行计算技术实现增量模型。实验结果显示,在保证推荐准确度的前提下,响应时间明显缩短,说明增量模型适合实时处理大数据流,可缓解数据处理不及时问题。 展开更多

关键词 协同过滤 推荐系统 增量计算 实时流计算 SPARK streamING

下载PDF 职称材料