题名 实时数据仓库体系架构的研究
被引量：18
1
作者
张俊 张忠能
机构
上海交通大学软件学院
出处
《计算机工程》
CAS
CSCD
北大核心
2004年第B12期180-182,共3页
文摘
传统数据仓库由ODS(Operational Data Stone)、数据仓库、数据集市和BI工具组成。实时数据仓库扩展了传统数据仓库的适用范围, 能给企业提供关于日常战术操作的技术支持。该文讨论了实时数据仓库的几种体系实现,并同传统数据仓库体系进行了比较和分析。通过对 需求、技术、性能等方面的分析。提出了比较可行的实时数据仓库体系结构。
关键词
数据仓库 传统数据仓库 实时数据仓库 数据集市 数据挖掘
Keywords
data warehouse Traditional data warehouse real -time data warehouse data martdata mining
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 ODS数据仓库新技术的研究与应用
被引量：4
2
作者
王霓虹 刘美玲
机构
东北林业大学
出处
《信息技术》
2004年第11期8-11,31,共5页
文摘
讨论数据仓库新的技术方向—操作型数据存储ODS(OperationalDataStore),介绍了其基本内容及特性,并探讨了ODS与实时系统的应用问题。介绍了结合林业企业木材销售应用的ODS商业系统。
关键词
ODS 数据仓库 实时数据仓库 OLAP
Keywords
ODS(Operational data Store) data warehouse real -time data warehouse OLAP(On-Line Analytical Processing)
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
题名 面向大型装备状态分析的分布式实时数据仓库构建技术
被引量：9
3
作者
刘彦均 封宇 武千惠 黄必清
机构
清华大学自动化系
出处
《计算机集成制造系统》
EI
CSCD
北大核心
2017年第10期2324-2333,共10页
基金
国家863计划资助项目(2015AA042102)~~
文摘
面向大型装备状态分析的数据仓库建设需求,在数据仓库维度建模理论、分布式消息队列、分布式流式计算的基础上,提出一种快速构建分布式实时数据仓库的方法。相比于传统数据仓库,提出了分布式实时数据仓库在数据生命周期的改进方法。研究提出一种面向多数据场景的、可快速迭代的、具有高扩展性与数据可靠性的分布式实时数据仓库构建方法。为支撑分布式实时数据仓库的数据云平台管理,总结了现有的三种集群自动化运维方法,并提出了对多种数据云平台集成的方法。
关键词
装备行业 状态数据 分布式集群 实时数据仓库 大数据平台管理
Keywords
equipment industry status data ~ distributed cluster real -time data warehouse big data platform man-agement
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 基于图形处理器的并行方体计算
被引量：7
4
作者
周国亮 陈红 李翠平 王珊 郑涛
机构
教育部数据工程与知识工程重点实验室(中国人民大学) 中国人民大学信息学院 保定电力职业技术学院信息系
出处
《计算机学报》
EI
CSCD
北大核心
2010年第10期1788-1808,共21页
基金
国家"八六三"高技术研究发展计划项目基金(2008AA01Z120) 教育部高等学校博士学科点专项科研基金项目基金(20090004110002)资助~~
文摘
方体(cube)计算是数据仓库和联机分析处理(Online analytical processing,OLAP)领域的核心问题,如何提高方体计算性能获得了学术界和工业界的广泛关注,但目前大部分方体算法都没有考虑最新的处理器架构.近年来,处理器从单一计算核心进化为多个或许多个计算核心,如多核CPU、图形处理器(Graphic Processing Units,GPU)等.为了充分利用现代处理器的多核资源,该文提出了基于GPU的并行方体算法GPU-Cubing,算法采用自底向上、广度优先的划分策略,每次并行完成一个cuboid的计算并输出;在计算cuboid过程中多个分区同步处理,分区内多线程并行.GPU-Cubing算法适合GPU体系结构,并行度高.与BUC算法相比,基于真实数据集的完全方体计算可以获得一个数量级以上的加速比,冰山方体获得至少2倍以上的加速.
关键词
图形处理器 并行方体计算 实时数据仓库 联机分析处理
Keywords
graphic processing units parallel cube computation real -time data warehouse on-line analytical processing
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 基于实时数据仓库的OLAP研究
被引量：3
5
作者
邹庆 徐涛
机构
南京航空航天大学信息科学与技术学院
出处
《计算机与现代化》
2007年第11期35-36,39,共3页
文摘
传统数据仓库及OLAP应用侧重对历史数据的分析。为了满足实时分析的要求,本文提出了一种实时数据仓库的分区结构。在分析了传统OLAP设计在实时性方面的缺陷后,我们提出了基于分区结构的实时OLAP的设计,使OLAP分析能够达到实时或准实时的要求。
关键词
实时数据仓库 分区结构 实时OLAP
Keywords
real -time data warehouse partition structure real -time OLAP
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 实时数据处理轻量化应用程序的设计与实现
被引量：1
6
作者
王沙沙
机构
鹤壁职业技术学院
出处
《漯河职业技术学院学报》
2023年第4期28-32,共5页
基金
河南省科技攻关计划项目“基于图像深度学习的无人机救援目标识别技术研究”(212102310550) 鹤壁职业技术学院课题“基于校园数据中心的数据治理与应用”(2021-SKYB-070)。
文摘
在企业决策时效性要求越来越高的情况下,离线数据仓库逐渐无法满足要求。实时数据仓库成为企业快速决策的重要依赖,其准确性、实时性为企业做出及时准确的市场判断提供了重要的数据支撑。传统的实时数据仓库主要依赖于Hadoop、Spark、Flink等分布式技术框架,对企业相关人员有较高的技术要求,同时以上分布式技术对服务器资源有着更多的需求,增加了企业的运营成本。本文着力于探讨一种轻量化的实时数据处理架构,以满足部分场景下的实时数据仓库需求,并对这一架构进行初步的设计和实现。
关键词
数据仓库 实时数据仓库 实时处理 分布式
Keywords
data warehouse real -time data warehouse real -time processingdistributed
分类号
TP311.1
[自动化与计算机技术—计算机软件与理论]
题名 基于动态镜像的实时数据仓库存取预处理技术研究
被引量：6
7
作者
毛莺池 闵伟 接青 朱沥沥
机构
河海大学计算机与信息学院 河海大学淮安研究院
出处
《计算机科学》
CSCD
北大核心
2015年第12期130-135,共6页
基金
国家自然科学基金项目(61272543 U1301252) +3 种基金 国家科技支撑计划项目(2013BA B06B04) 中国华能集团公司总部科技项目(HNKJ13-H17-04) 云南省科技计划项目(2014GA007) 中央高校基本科研业务费专项资金(2015B22214)资助
文摘
实时数据仓库是数据仓库技术的重要分支,而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响了查询分析的精度和效率,还降低了数据仓库的性能。提出了一种在数据仓库外部构建动态存储区域的方法,它采用动态镜像技术,有效地缓解查询竞争问题。同时,为了提高实时OLAP上的查询分析操作的性能,提出了蝇量级物化方法及蝇量级物化下的表连接算法FWMJoin(FlyWeight Materialization Join)。基于TPC-H基准的实时数据仓库测试系统,针对动态镜像技术下的动态存储区域的OLAP性能进行分析与评估,并对实验结果进行总结。
关键词
查询竞争 动态镜像 实时数据仓库 联机在线分析
Keywords
Query contention, Dynamic mirror replication, real -time data warehouse , OLAP
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 基于CDC机制的数据仓库实时数据更新方法研究
被引量：4
8
作者
谭光玮 武彤
机构
贵州大学计算机科学与技术学院
出处
《计算机科学》
CSCD
北大核心
2015年第S1期546-548,共3页
基金
贵州省自然科学基金项目:动态数据仓库的数据加载技术研究(黔科合J字[2013]2115号)资助
文摘
分析了某特定应用系统的数据仓库实时决策需求,确定了需要实时更新到数据仓库的数据库表。对几种实时更新数据的方案进行了比较和权衡,经过综合考量,设计了使用基于读取和分析数据库日志的CDC机制来捕获变更数据,然后在数据加载程序中设定周期,循环地将捕获到的变更数据放入中间数据集并批量加载到数据仓库中的实时数据更新方案。该方案经过实验验证可以满足实时更新数据的需求,并且更新数据的过程不会影响源系统的事务处理,适用于此应用系统。
关键词
动态数据仓库 实时更新 变更数据捕获 数据加载
Keywords
real -time data warehouse ,real -time updating,Changed data capture,data loading
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
题名 基于StarRocks的实时数仓设计
9
作者
高海峰 叶春明
机构
上海理工大学管理学院
出处
《计算机时代》
2023年第2期46-50,60,共6页
文摘
传统的数仓,在获取、存储、管理、处理和分析数据等方面正面临着全新的挑战,而实时计算和实时数仓建设则是企业发展转型的关键。在数仓建设中,新一代的基于MPP架构的高性能分析型数据库日益受到重视。一种基于StarRocks的实时数仓,结合Flink实时计算技术,已在考勤业务场景得到实践验证。相比传统数仓技术,其计算性能提升四倍以上,时延降低一半,所需资源降低一半。该系统满足企业对员工考勤数据的实时计算需求,并可为其他更广泛的实时业务奠定基础。
关键词
实时计算 Flink 实时数仓 大数据 StarRocks
Keywords
real -time computingFlink real -time data warehouse big data StarRocks
分类号
TP311.5
[自动化与计算机技术—计算机软件与理论]
题名 基于MBSE的实时数据仓库系统设计与验证
10
作者
张海堂 钟宏江 邱紫霞 凌智 黄培晟 马军超
机构
深圳技术大学 星环信息科技(上海)股份有限公司
出处
《信息技术与标准化》
2023年第8期96-102,共7页
基金
深圳技术大学第六批校企合作研发项目,项目编号:20221061030001。
文摘
为解决传统数据仓库数据同步与分析时延高的问题,通过对数据链路全过程分析,提出一种实时数据仓库系统设计架构,重点介绍实时数据集成、数据标准化、实时数据存储、实时分析与展示功能模块。对系统数据同步与分析进行测试验证,结果表明,系统能够以秒级同步数据,实现毫秒级分析数据。
关键词
实时数据仓库 异构数据集成 事务交易处理 在线分析增强
Keywords
real -time data warehouse heterogeneous data integration transaction processing online analysis enhancement
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
题名 一种主动实时数据仓库的体系架构分析
被引量：3
11
作者
张磊 王备战
机构
厦门大学软件学院
出处
《江西科技师范学院学报》
2006年第4期111-114,共4页
文摘
传统数据仓库的主要目标是从不同的异构数据源中分析并提取商业战略信息,在传统的数据仓库中,数据不能及时从源系统导入,成功地做出决策会有延时。主动实时数据仓库的提出用来零延时地获取数据和减少正确做出商业决策的时间。本文讨论了主动实时数据仓库与传统数据仓库的区别并进行分析,最终介绍了一种改进的主动实时数据仓库体系结构。
关键词
传统数据仓库 实时数据仓库 主动实时 体系结构
Keywords
traditional data warehouse real -time data warehouse active real -time architecture
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 基于生产线质量控制系统的动态数据仓库解决方案
被引量：3
12
作者
谭光玮 武彤
机构
贵州大学计算机科学与技术学院
出处
《微型机与应用》
2014年第7期7-9,12,共4页
基金
贵州省自然科学基金项目(黔科合J字[2013]2115号)
文摘
如何实现数据仓库的"动态"特性是部署"动态数据仓库"系统的关键所在,而关键的关键又在于如何实现动态数据仓库中的实时数据获取。以一个实际系统为例,提出了一种适用的动态数据仓库体系架构及实时数据捕获与加载解决方案。在实际系统中验证了该方案的可行性。
关键词
动态数据仓库 体系架构 变更数据捕获 实时加载
Keywords
real -time data warehouse architecture changed data capture real -time data load
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 数字化的后勤保障系统设计
被引量：3
13
作者
潘琦 马志强 戴磊
机构
中国电子科学研究院
出处
《中国电子科学研究院学报》
北大核心
2021年第1期62-67,71,共7页
文摘
由于后勤保障数据数量越来越多、种类越来越复杂,为了对后勤保障资源进行科学规划和统一管理,设计了数字化的后勤保障系统,其数据架构包括数据源层、数据采集层、数据存储层、服务支撑层、应用访问层五大模块,其中数据存储部分以数据库技术为原理实现了对完整异构数据统一地分析、处理和存储,同时重点设计了实时数据仓库,充分发挥了数据库在多样化后勤业务进行交叉化分析、历史实时数据综合详细分析等方面的优势。通过对各类后勤保障信息的科学管理和综合利用,推动了后勤保障业务的全面发展。
关键词
后勤资源保障 后勤保障系统 数据库技术 实时数据仓库 信息化管理
Keywords
logistic resources guarantee logistic support system data base technologyreal -time data warehouse information management
分类号
F426.5
[经济管理—产业经济]
题名 实时数据仓库中支持QoS的更新和查询任务调度
被引量：2
14
作者
师金钢 鲍玉斌 冷芳玲 于戈 王大玲
机构
东北大学信息科学与工程学院
出处
《小型微型计算机系统》
CSCD
北大核心
2011年第5期801-806,共6页
基金
国家自然科学基金项目(60773222)资助
文摘
实时数据仓库中,数据更新不再是定期批量执行,而是持续不间断地进行.因此更新与查询的执行调度成为了重要问题.提出一种支持服务质量(QoS)的更新和查询调度算法,定义了查询相关的QoS参数,包括期望的查询响应时间和可接受的实时数据延迟;根据查询任务的具体QoS要求,进行更新和查询的实时调度.实验证明该算法能够根据查询的具体QoS需求,合理地调整任务的执行顺序,为用户提供更快速的查询响应和更高的数据实时性.
关键词
实时数据仓库 服务质量 实时调度 数据新鲜度
Keywords
real -time data warehouse QoS real -time scheduling data freshness
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 实时数据仓库中一种改进的数据流更新算法
被引量：2
15
作者
潘郑冰 戴牡红
机构
湖南大学软件学院
出处
《计算机工程》
CAS
CSCD
2014年第10期43-46,51,共5页
基金
湖南省自然科学基金资助项目(2011FJ3034)
文摘
为实现数据仓库中数据的高效集成,针对数据偏斜分布现象,提出一种改进的数据流更新算法EH-JOIN。该算法对传统散列连接方法进行改进,利用索引将部分频繁使用的主数据存储在内存中,解决了高速数据流下的磁盘频繁访问问题。实验结果表明,与MESHJOIN算法和R-MESHJOIN算法相比,EH-JOIN算法的服务速率在磁盘存储关系集保持适当大小时分别提高了96%和81%,在内存大小不同时提高了57%和48%。
关键词
实时数据仓库 数据转换 数据流更新 基于流的连接 哈希索引 偏斜分布
Keywords
real -time data warehouse data transformationdata stream updatestream-based join Hash index skewed distribution
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
题名 基于SOA实时数据仓库的研究
被引量：1
16
作者
刘智涛
机构
甘肃工业职业技术学院信息工程系
出处
《昆明冶金高等专科学校学报》
CAS
2008年第5期28-32,共5页
基金
甘肃国防科工委(办)科研项目:基于Web的访问控制技术研究与实现(Gb2007-3)
文摘
主要研究了基于SOA实时数据仓库的体系架构和设计方法。SOA是基于标准的、松散耦合的软件体系结构,采用Web Services技术使得跨平台的、无缝共享的、实时的数据交换更容易实现。正是SOA的这些特点,解决了传统EAI存在的体系结构紧密耦合、缺乏工业标准等问题。
关键词
实时数据仓库 面向服务架构 应用集成
Keywords
real -time data warehouse service-oriented architecture application integration
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
题名 后勤资源保障实时数据管理系统的分析与设计
被引量：1
17
作者
杨曦 巩青歌
机构
武警工程大学研究生管理大队 武警工程大学信息工程系指挥信息系统教研室
出处
《电子世界》
2016年第19期164-165,共2页
文摘
为更贴合部队实战同时更好地发挥后勤保障的作用,为实现日常保障数据的管理和实时数据的处理及存储,设计了实时数据管理系统的基本结构,对结构中数据获取部分、数据存储部分、数据支撑部分进行详细设计,其中数据存储部分对实时数据仓库进行研究,使系统可以实时处理资源数据,同时完成资源数据的部署,消除数据孤岛及数据冗余现象,实现后勤保障资源的综合管理。
关键词
后勤资源保障 数据管理系统 实时数据仓库
Keywords
logistics resources： data management system real -time data warehouse
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
题名 基于动态镜像的实时数据仓库存取处理技术
被引量：1
18
作者
毛莺池 闵伟 接青 朱沥沥
机构
河海大学计算机与信息学院 河海大学淮安研究院
出处
《计算机与现代化》
2015年第3期108-112,共5页
基金
国家自然科学基金资助项目(61272543) 国家科技支撑计划项目(2013BAB06B04) +1 种基金 江苏省自然科学基金资助项目(BK2012584) 中国华能集团公司总部科技项目(HNKJ13-H17-04)
文摘
实时数据仓库是数据仓库技术的重要分支,而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响查询分析的精度和效率,本文提出一种动态镜像技术,该技术在数据仓库外部构建动态存储区域;同时,本文对传统ETL技术进行了改进。基于TPC-H基准的实时数据仓库测试系统对动态镜像技术下的OLAP性能进行了分析与评估。实验结果显示,实时查询效率提高了50%,平均查询精度达到93%。
关键词
查询竞争 动态镜像 实时数据仓库
Keywords
query contention dynamic mirror replication real -time data warehouse
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 可扩展的事件消息自动化处理方案
19
作者
齐文 鲍玉斌
机构
东北大学信息科学与工程学院 辽东学院信息技术学院
出处
《计算机工程》
CAS
CSCD
北大核心
2008年第24期82-84,共3页
基金
国家自然科学基金资助项目(60773222)
文摘
在实时数据仓库中,获取实时业务数据后,实时或及时的事件处理和决策自动化对实时数据仓库来说至关重要。该文针对仓库系统资源竞争问题,采用消息队列和改进的主动规则技术,提出一套可靠、可扩展并能解决系统负载平衡的异步事件驱动自动化处理方案,同时给出了一套使用高级队列中间件和J2EE技术的实践参考方案,实验结果证明该方案可行。
关键词
事件消息 消息队列 实时数据仓库 主动规则
Keywords
event message message queue real -time data warehouse active rule
分类号
TP311.5
[自动化与计算机技术—计算机软件与理论]
题名 集成情境的实时商业智能研究
20
作者
周如意 祝锡永 周益辉 谷闪闪
机构
浙江理工大学经济管理学院
出处
《成组技术与生产现代化》
2014年第4期7-14,共8页
基金
国家自然科学基金资助项目(71071144) 教育部人文社会科学研究资助项目(13YJCZH183)
文摘
将情境引入商业智能,提出集成情境的实时商业智能的概念.介绍集成情境的商业智能体系架构及关键技术,在此基础上提出商业智能中面向CRTBI的情境建模方法及其情境相似性评估的方法.通过实例对集成情境商业智能平台的体系架构进行应用和验证.
关键词
情境 商业智能 情境建模 实时数据仓库
Keywords
context business intelligence context mod eling real -time data warehouse
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
