期刊文献+
共找到5篇文章
< 1 >
每页显示 20 50 100
基于日志的多源异构变更数据捕获更新方法
1
作者 王凯军 李飞 +1 位作者 李素芳 鲁奕彤 《河北冶金》 2024年第6期70-75,共6页
随着BI(Business Intelligence,即商业智能技术)的发展和工业界业务需求的转变,企业迫切需要将数据源的变更数据实时地更新到数据仓库中进行分析与处理,从而及时辅助业务人员做出商业决策,因此产生了对增量变更数据的实时监测并捕获更... 随着BI(Business Intelligence,即商业智能技术)的发展和工业界业务需求的转变,企业迫切需要将数据源的变更数据实时地更新到数据仓库中进行分析与处理,从而及时辅助业务人员做出商业决策,因此产生了对增量变更数据的实时监测并捕获更新的需求。传统的数据更新方法无法识别数据中的增量更新,且获得的数据已失去时效性,难以支撑实时的决策分析,因此提出了一种基于数据库日志的变更数据捕获更新方法。并以实际应用案例为背景,介绍了如何运用该方法低侵入地捕获多源异构数据库的变更日志,并且将变更数据实时同步到下游数据库或系统中。本文将该方法投入到工业大数据场景下的实际企业生产环境中进行应用,构建基于数据库日志的变更数据捕获原型系统,使用企业的异构原始生产数据和业务数据对系统进行测试,验证了系统在实际大数据场景下的变更数据捕获能力,目前该系统运行良好。本文提出的基于数据库日志的多源异构变更数据捕获更新方法可以帮助企业以低侵入、高实时、高可用的方式完成异构数据的采集、处理和同步,能够高效地帮助企业快速进行数据分析,支撑企业做出正确的商业决策。 展开更多
关键词 多源异构 变更数据捕获 数据库日志 商业智能 实时更新 低侵入
下载PDF
分布式异构数据库同步技术研究与实现 被引量:5
2
作者 张振友 孙燕 《电脑知识与技术》 2015年第10期16-19,共4页
在分布式异构数据库中,存在的最大的问题就是异构数据库之间的一致性的问题,针对该问题,设计了一种基于XML的异构数据库同步系统,该系统以C#/XML为基础,结合触发器法、控制表法和时间戳法获取变更数据,并对触发器和控制表进行改进,采用... 在分布式异构数据库中,存在的最大的问题就是异构数据库之间的一致性的问题,针对该问题,设计了一种基于XML的异构数据库同步系统,该系统以C#/XML为基础,结合触发器法、控制表法和时间戳法获取变更数据,并对触发器和控制表进行改进,采用XML技术,将得到的变更数据转化成XML文档,通过Web界面实现异构数据库之间的同步。 展开更多
关键词 数据同步 异构数据 C#/XML WEB 变更数据捕获
下载PDF
变化数据捕获研究及基于SQL SERVER的开发与应用 被引量:4
3
作者 王丽君 李萌 +3 位作者 徐卓然 雷龙艳 周倩 阳小华 《南华大学学报(自然科学版)》 2011年第3期78-82,共5页
变化数据捕获是数据集成的核心内容,为高效地实现数据集成,探讨了变化数据捕获的常见机制,重点介绍了SQL SERVER的变化数据捕获方案———更改跟踪和变化数据捕获,并以实际开发项目为背景,介绍在偶尔连接场景下,如何运用变化数据捕获技... 变化数据捕获是数据集成的核心内容,为高效地实现数据集成,探讨了变化数据捕获的常见机制,重点介绍了SQL SERVER的变化数据捕获方案———更改跟踪和变化数据捕获,并以实际开发项目为背景,介绍在偶尔连接场景下,如何运用变化数据捕获技术,合理设计数据集成方案,满足业务要求,实现异构数据源的有效更新. 展开更多
关键词 变化数据捕获 更改跟踪 变更数据捕获
下载PDF
基于CDC机制的数据仓库实时数据更新方法研究 被引量:4
4
作者 谭光玮 武彤 《计算机科学》 CSCD 北大核心 2015年第S1期546-548,共3页
分析了某特定应用系统的数据仓库实时决策需求,确定了需要实时更新到数据仓库的数据库表。对几种实时更新数据的方案进行了比较和权衡,经过综合考量,设计了使用基于读取和分析数据库日志的CDC机制来捕获变更数据,然后在数据加载程序中... 分析了某特定应用系统的数据仓库实时决策需求,确定了需要实时更新到数据仓库的数据库表。对几种实时更新数据的方案进行了比较和权衡,经过综合考量,设计了使用基于读取和分析数据库日志的CDC机制来捕获变更数据,然后在数据加载程序中设定周期,循环地将捕获到的变更数据放入中间数据集并批量加载到数据仓库中的实时数据更新方案。该方案经过实验验证可以满足实时更新数据的需求,并且更新数据的过程不会影响源系统的事务处理,适用于此应用系统。 展开更多
关键词 动态数据仓库 实时更新 变更数据捕获 数据加载
下载PDF
基于生产线质量控制系统的动态数据仓库解决方案 被引量:3
5
作者 谭光玮 武彤 《微型机与应用》 2014年第7期7-9,12,共4页
如何实现数据仓库的"动态"特性是部署"动态数据仓库"系统的关键所在,而关键的关键又在于如何实现动态数据仓库中的实时数据获取。以一个实际系统为例,提出了一种适用的动态数据仓库体系架构及实时数据捕获与加载解... 如何实现数据仓库的"动态"特性是部署"动态数据仓库"系统的关键所在,而关键的关键又在于如何实现动态数据仓库中的实时数据获取。以一个实际系统为例,提出了一种适用的动态数据仓库体系架构及实时数据捕获与加载解决方案。在实际系统中验证了该方案的可行性。 展开更多
关键词 动态数据仓库 体系架构 变更数据捕获 实时加载
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部