烟草数据中心ETL技术应用 被引量：10

1

作者 密红 何利力 杨秀梅 《计算机系统应用》 2011年第5期184-187,共4页

简要介绍了ETL技术的主要功能和主要实现方法,并结合国内某烟草省公司数据中心营销主题域建设项目的具体需要,提出了一种适合该项目的具体ETL实现方法,该方法成功将市烟草公司业务系统中主数据和营销业务数据抽取到省公司数据仓库中,对... 简要介绍了ETL技术的主要功能和主要实现方法,并结合国内某烟草省公司数据中心营销主题域建设项目的具体需要,提出了一种适合该项目的具体ETL实现方法,该方法成功将市烟草公司业务系统中主数据和营销业务数据抽取到省公司数据仓库中,对整个数据中心项目的顺利完成起到了至关重要的作用,也对其他行业数据中心建设提供了相关经验。 展开更多

关键词 ETL 数据仓库 增量抽取 商务智能 数据模型

下载PDF 职称材料

城市基础地理信息时空数据变化更新方法 被引量：9

2

作者 夏强 陶迎春 刘芳 《测绘科学》 CSCD 北大核心 2016年第12期200-205,260,共7页

针对城市基础地理空间数据时空变化更新特点,该文研究了利用空间信息和属性信息进行变量提取和变化更新的方法。通过使用不同年份的基础地理信息矢量数据为研究对象,采用FME空间数据转换处理系统和Python语言,实现了基于FME、基于空间... 针对城市基础地理空间数据时空变化更新特点,该文研究了利用空间信息和属性信息进行变量提取和变化更新的方法。通过使用不同年份的基础地理信息矢量数据为研究对象,采用FME空间数据转换处理系统和Python语言,实现了基于FME、基于空间分析和基于质心的3种空间数据变量提取和变化更新解决方案。对各方案变化更新的准确性和完整性进行分析对比,选择出了最优的变量提取和变化更新解决方案。 展开更多

关键词 基础地理信息 时空数据 增量提取 变化更新

原文传递

一种面向海量基础地理信息数据更新的多人协同作业方法 被引量：5

3

作者 李忠 任东宇 +2 位作者 周启 刘晖 张怀相 《测绘通报》 CSCD 北大核心 2022年第9期145-151,共7页

为解决传统面向海量基础地理信息数据多人协同更新技术方案中存在的问题,满足实际生产中对作业效率、过程数据管理等要求,本文提出了一种多人离线协同作业方法。该方法以扩展的时空数据库模型为基础,通过更新过程中多时态数据的集中存... 为解决传统面向海量基础地理信息数据多人协同更新技术方案中存在的问题,满足实际生产中对作业效率、过程数据管理等要求,本文提出了一种多人离线协同作业方法。该方法以扩展的时空数据库模型为基础,通过更新过程中多时态数据的集中存储管理,要素的离线编辑及协同状态维护,协同冲突检测与处理,本地编辑内容提交等工艺方法,实现了多人离线协同更新作业。基于该方法研发了协同作业系统,该系统已在多个省级及以上数据库更新项目中得到了应用,应用效果良好。 展开更多

关键词 协同作业 时空数据库模型 基础地理信息数据更新 增量提取

下载PDF 职称材料

基于可变时间窗口的增量数据抽取模型 被引量：4

4

作者 刘杰 王桂玲 左小将 《计算机科学》 CSCD 北大核心 2018年第11期204-209,230,共7页

基于合适的数据抽取模型持续不断地将变化的数据从各个数据源系统进行抽取集成,是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键。传统的时间戳变化数据捕获方式存在因数据抽取过程中发生异常而... 基于合适的数据抽取模型持续不断地将变化的数据从各个数据源系统进行抽取集成,是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键。传统的时间戳变化数据捕获方式存在因数据抽取过程中发生异常而导致数据抽取失效,进而影响数据抽取效率的问题。鉴于此,文中借鉴时间窗口的思想,采用先抽取少量重复记录再去重的做法,对传统的时间戳增量数据捕获模型进行了改进,提出了基于可变时间窗口的增量数据抽取模型。该模型减少了异常对数据抽取的影响,增强了时间戳增量数据抽取ETL流程的可靠性,在一定程度上提高了数据的抽取效率。 展开更多

关键词 变化数据的捕获 增量抽取 时间戳 ETL

下载PDF 职称材料

大数据平台对医院数据抽取方案的研究与应用 被引量：3

5

作者 赵浩宇 周琳 +1 位作者 罗浩 汪鹏 《中国数字医学》 2021年第10期108-112,共5页

目的:通过抽取HIS库数据的方式建设大数据平台,构建临床大数据科研系统,为医护人员提供准确的医疗科研数据。方法:通过比较各数据抽取方式的优劣,选用OGG软件、CDC技术,通过分析数据库自身的日志来判断变化的数据,以增量抽取的方式将医... 目的:通过抽取HIS库数据的方式建设大数据平台,构建临床大数据科研系统,为医护人员提供准确的医疗科研数据。方法:通过比较各数据抽取方式的优劣,选用OGG软件、CDC技术,通过分析数据库自身的日志来判断变化的数据,以增量抽取的方式将医院数据抽取到大数据平台。结果:通过比较,增量抽取数据相对应全量抽取数据更加省时,抽取效率更高,对在用生产库影响也较小,对于建设医院大数据平台是现阶段最有效的数据提取方式。结论:运用增量抽取数据,可最大限度保障平台数据的准确性和完整性,在不影响生产库系统运行的同时还能为临床医护工作者提供科研数据的分析和查询。 展开更多

关键词 大数据平台 数据抽取技术 增量抽取 医院数据

下载PDF 职称材料

基于大数据高校教学数据智能处理平台的设计 被引量：2

6

作者 房亚群 田其英 《湖南工业职业技术学院学报》 2016年第2期10-11,28,共3页

大数据的分析和挖掘过程,数据抽取是关键环节。目前大多采用全量抽取、CDC等方式,具有一定的局限性。本文提出了一种基于日志分析的增量抽取,并设计了基于大数据的高校教学数据智能处理平台,实现"业务与数据"的分离。ETL数据... 大数据的分析和挖掘过程,数据抽取是关键环节。目前大多采用全量抽取、CDC等方式,具有一定的局限性。本文提出了一种基于日志分析的增量抽取,并设计了基于大数据的高校教学数据智能处理平台,实现"业务与数据"的分离。ETL数据抽取关键功能,采用数据库增量抽取方式,与传统方式相比,具有很好的实用价值。 展开更多

关键词 大数据 ETL 日志分析 增量抽取

下载PDF 职称材料

融入MD5的HASH线性获取增量算法研究

7

作者 郭亮 杨金民 《计算机工程与应用》 CSCD 2014年第23期136-139,211,共5页

为了实现数据库中的快速增量提取,在剖析传统的增量提取方法上,提出了一种融入MD5的HASH线性扫描来获取增量的算法。数据库中的每条记录都可视为一个字符串,利用HASH算法生成备份记录的散列表,通过原始记录去散列表中探测来达到线性扫... 为了实现数据库中的快速增量提取,在剖析传统的增量提取方法上,提出了一种融入MD5的HASH线性扫描来获取增量的算法。数据库中的每条记录都可视为一个字符串,利用HASH算法生成备份记录的散列表,通过原始记录去散列表中探测来达到线性扫描就能获取增量的目的,减少了比对次数;同时利用MD5算法生成每条记录的"指纹",降低了每次HASH运算和比对的字符串长度,提高了效率。对所提出算法在ORACLE数据库上进行了应用测试,结果表明该算法效率较传统方法有很大提高。 展开更多

关键词 增量提取 MD5算法 HASH算法 线性扫描

下载PDF 职称材料

一种融入MD5的影子表算法研究

8

作者 袁满 康峰峰 黄刚 《计算机应用研究》 CSCD 北大核心 2013年第1期149-151,共3页

为了快速提取源头数据、快速识别变化记录以及实现数据的快速增量提取,在剖析传统影子表法的工作原理上,提出基于MD5算法的影子表法的改进型线性算法,对对比表进行线性扫描,排除了不必要的回扫操作;同时通过MD5算法计算整条记录的"... 为了快速提取源头数据、快速识别变化记录以及实现数据的快速增量提取,在剖析传统影子表法的工作原理上,提出基于MD5算法的影子表法的改进型线性算法,对对比表进行线性扫描,排除了不必要的回扫操作;同时通过MD5算法计算整条记录的"指纹",降低了字符串比对次数和时间,能够迅速识别出发生变化的记录。对所提出算法进行了应用测试,结果表明通过融入MD5算法后的影子表法提高了数据提取效率。基于影子表的增量提取方法是一种通用的增量捕获方法,能在任何数据库上实现;应用程序可以方便地在多种平台间移植,因此很适合解决异构数据库复制问题。 展开更多

关键词 影子表 增量提取 数据库复制 线性

下载PDF 职称材料

ETL中的数据增量抽取机制研究 被引量：33

9

作者 戴浩 杨波 《计算机工程与设计》 CSCD 北大核心 2009年第23期5552-5555,共4页

为实现数据仓库中数据的高效更新,探讨了在数据仓库的ETL(数据的抽取、转换和装载)子系统中进行数据增量抽取时所采用的常见机制,对这些机制的原理、条件、方法以及运行效率等方面进行了详细的阐述,并从兼容性、完备性、性能和侵入性4... 为实现数据仓库中数据的高效更新,探讨了在数据仓库的ETL(数据的抽取、转换和装载)子系统中进行数据增量抽取时所采用的常见机制,对这些机制的原理、条件、方法以及运行效率等方面进行了详细的阐述,并从兼容性、完备性、性能和侵入性4个方面分析和比较了各种数据增量抽取机制的优劣性。最后,总结了选取数据增量抽取机制所应遵循的主要原则和标准。 展开更多

关键词 数据抽取转换与加载 增量抽取 数据仓库 商业智能

下载PDF 职称材料

天地图省市数据融合若干关键技术研究及应用——以“天地图·浙江”为例 被引量：19

10

作者 邱新忠 朱俊 《测绘与空间地理信息》 2018年第1期179-181,共3页

以"天地图·浙江"省市数据融合为例,重点阐述了数据融合中的增量要素提取、矢量要素变化检测、道路立体交叉可视化表达等关键技术,提升了数据融合的效率,加快了数据融合的进程,可为其他省市的数据融合提供参考和借鉴。

关键词 天地图·浙江 数据融合 增量提取 变化检测

下载PDF 职称材料

一种增量式规则提取算法 被引量：6

11

作者 於东军 王士同 杨静宇 《小型微型计算机系统》 CSCD 北大核心 2004年第1期79-81,共3页

扩展了决策矩阵的定义 ,并在此基础上提出一种增量式规则提取算法 (IREA) ,该算法能够以增量的方式从样本数据中提取确定性和可能性规则 .对于缺乏领域知识时的知识 /规则获取具有重要使用价值 .

关键词 决策矩阵 规则提取 增量式规则提取 知识发现

下载PDF 职称材料

基于增量磁导率提取的油气管道正交差分涡流内检测技术

12

作者 宫彦双 完小康 +5 位作者 王宏军 辛佳兴 陈广明 陈金忠 余冰锋 马义来 《油气储运》 CAS 北大核心 2024年第9期1002-1011,共10页

【目的】管道作为石油、天然气的主要运输工具,其运行工况复杂,易产生腐蚀、裂纹等缺陷。传统的漏磁检测设备由于质量大、磁吸力强,在小口径、低压管道中难以通过,且对于微小缺陷的检测能力不足;传统的涡流检测技术受趋肤效应的限制无... 【目的】管道作为石油、天然气的主要运输工具,其运行工况复杂,易产生腐蚀、裂纹等缺陷。传统的漏磁检测设备由于质量大、磁吸力强,在小口径、低压管道中难以通过,且对于微小缺陷的检测能力不足;传统的涡流检测技术受趋肤效应的限制无法检出管道外壁及埋藏缺陷,同时难以识别缺陷的深度信息;超声检测由于需要耦合剂,不适用于天然气管道的内检测。【方法】提出了直流磁化与正交差分涡流结合的管道缺陷检测技术,利用有限元分析方法探究了管道内、外表面缺陷对于管道内部涡流场和磁导率的影响规律。研制了正交差分涡流检测探头,开展了管道内、外表面缺陷动态扫查实验。【结果】研制的正交差分涡流检测探头对管道内、外壁腐蚀及内壁裂纹均有信号响应。在一定范围内,特征信号峰值缺陷深度、宽度成正相关,峰值、峰谷间距与缺陷宽度正相关。管道埋藏缺陷与外壁缺陷特征信号相位相同且与内壁缺陷特征信号相反,可以为缺陷位置的快速判定提供参考。【结论】研究成果对弥补传统漏磁、涡流检测技术的不足,促进管道在线检测技术的发展具有重要意义。(图13,表1,参21) 展开更多

关键词 增量磁导率提取 差分涡流检测 内检测 检测探头

原文传递

企业决策支持系统ETL建构技术研究 被引量：6

13

作者 孙水华 林志强 《福建工程学院学报》 CAS 2011年第1期83-85,91,共4页

决策支持系统构建的关键在于ETL系统的开发。文章从ETL模型设计、ETL策略及实现技术、ETL数据质量控制技术等方面进行研究设计,提出适应中小型企业数据整合需求的ETL解决方案。

关键词 决策支持系统 模型设计 增量数据抽取技术 数据质量控制

下载PDF 职称材料

基于关键属性比对的增量数据抽取方法 被引量：4

14

作者 刘胜 杨岳湘 +1 位作者 邓劲生 李阳 《计算机工程与应用》 CSCD 2012年第4期115-117,共3页

概述了ETL目前常用的增量数据抽取方法,在全表比对方法基础上,提出了基于关键属性比对的增量数据提取方法,描述了关键属性提取算法,并建立其模型,用实验验证了基于关键属性比对的方法优于全表比对方法和全表删除插入方法。

关键词 关键属性 增量数据抽取 全表比对 提取转换加载(ETL)

下载PDF 职称材料

基于角增量提取改进算法的旋转矢量法 被引量：3

15

作者 焦留芳 许晖 +1 位作者 石秀华 左睿 《鱼雷技术》 2010年第1期53-56,共4页

旋转矢量法应用于角速率陀螺时,将角速率转化为角增量产生了较大误差,为使旋转矢量法有效地应用于角速率陀螺的姿态解算,该文提供了一种改进的三子样旋转矢量法。该方法在经典三子样角增量提取算法上,增加了前后各1/3周期的节点,使得采... 旋转矢量法应用于角速率陀螺时,将角速率转化为角增量产生了较大误差,为使旋转矢量法有效地应用于角速率陀螺的姿态解算,该文提供了一种改进的三子样旋转矢量法。该方法在经典三子样角增量提取算法上,增加了前后各1/3周期的节点,使得采样值更加有效利用。在不增加区间子样数的前提下,使每个有效节点至少被使用5次,大大降低了角速率向角增量转化的误差。仿真结果表明,该算法可以有效应用于角速率陀螺。 展开更多

关键词 旋转矢量法 三子样算法 角增量提取

下载PDF 职称材料

具有实时反馈的草图交互识别方法 被引量：3

16

作者 李俊峰 张习文 +1 位作者 敖翔 戴国忠 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2005年第11期2453-2458,共6页

针对同步在线草图识别算法中的效率和应用范围问题,提出基于增量式意图提取的识别算法.算法通过定义滞后窗口,采用增量式意图提取的方式理解用户的勾画意图,进而根据当前信息修正以前生成的意图段落,使得识别结果和用户的勾画意图保持一... 针对同步在线草图识别算法中的效率和应用范围问题,提出基于增量式意图提取的识别算法.算法通过定义滞后窗口,采用增量式意图提取的方式理解用户的勾画意图,进而根据当前信息修正以前生成的意图段落,使得识别结果和用户的勾画意图保持一致.实验证明,该算法能够准确、实时地识别用户输入的多种图形. 展开更多

关键词 同步在线识别 增量式意图提取 草图识别 滞后窗口

下载PDF 职称材料

基于IREA的模糊神经网络及其在网络拥塞预测中的应用(英文) 被引量：2

17

作者 戚湧 於东军 +1 位作者 杨静宇 刘风玉 《系统仿真学报》 CAS CSCD 2004年第5期1005-1008,共4页

将粗糙集从原始数据中提取数据的能力和模糊神经网络的推理能力有效地集成起来。使用增量式规则提取算法(IREA)从原始数据中抽取构建模糊神经网络(FNN)所需的规则集。与传统的模糊神经网络相比较,使用IREA算法构建的FNN具有较短的规则... 将粗糙集从原始数据中提取数据的能力和模糊神经网络的推理能力有效地集成起来。使用增量式规则提取算法(IREA)从原始数据中抽取构建模糊神经网络(FNN)所需的规则集。与传统的模糊神经网络相比较,使用IREA算法构建的FNN具有较短的规则长度和更少的规则条数。网络拥塞仿真试验验证了本文所述方法的优越性。 展开更多

关键词 粗糙集 模糊神经网络 增量规则提取 网络拥塞

下载PDF 职称材料

基于遥感影像测绘的土地利用数据库联动更新方法 被引量：1

18

作者 贾睿洁 方攀 申俊涛 《矿产与地质》 2022年第5期1084-1088,共5页

数据更新是土地利用数据库的重要功能,然而当前的数据库联动规则设定内容过于陈旧和繁琐,导致土地利用数据库更新后的数据质量较差。基于此,设计了基于遥感影像测绘的土地利用数据库联动更新方法:首先使用9I模型对原始数据进行处理,以... 数据更新是土地利用数据库的重要功能,然而当前的数据库联动规则设定内容过于陈旧和繁琐,导致土地利用数据库更新后的数据质量较差。基于此,设计了基于遥感影像测绘的土地利用数据库联动更新方法:首先使用9I模型对原始数据进行处理,以确定并获取遥感影像测绘数据拓扑关系;提取其增量信息,再构建多层级联动规则;进而根据聚合算法实现土地利用数据库联动更新。然后构建实验环节对新方法的数据更新能力与传统方法进行了充分的比较与分析,结果表明,新方法采用后数据库中数据质量得到控制与提升。 展开更多

关键词 土地利用数据库 遥感影像测绘 变更规则 增量信息提取

下载PDF 职称材料

基于BCV和LogMiner实现增量数据抽取的应用 被引量：1

19

作者 杨从法 宋兴彬 《计算机系统应用》 2010年第4期192-196,共5页

介绍了不同数据抽取方式的优缺点,基于EMC存储联机业务持续性卷BCV数据备份和Oracle LogMiner分析归档日志原理,分析了数据抽取复制方案,实现了省级数据集中应用生产环境到分析平台中增量数据抽取。

关键词 数据抽取 业务持续性卷 重做日志 归档日志 增量抽取

下载PDF 职称材料

基于层次匹配的面状要素几何匹配方法研究 被引量：2

20

作者 张旗升 王艳慧 《地球信息科学学报》 CSCD 北大核心 2016年第8期1043-1051,共9页

空间数据增量信息提取是空间数据库增量更新的基础,而要素几何匹配则为空间数据增量信息提取的关键流程之一。针对面状要素几何匹配时所产生的单一匹配算子匹配准确度低,以及多算子加权匹配算法匹配效率低、冗余度高、结果不准确等情况... 空间数据增量信息提取是空间数据库增量更新的基础,而要素几何匹配则为空间数据增量信息提取的关键流程之一。针对面状要素几何匹配时所产生的单一匹配算子匹配准确度低,以及多算子加权匹配算法匹配效率低、冗余度高、结果不准确等情况,本文提出一种基于多层次匹配的面状要素几何匹配算法。该算法以反映面状要素位置、大小、形状特征的质心匹配算子、面积重叠度算子以及转向角函数匹配算子为基础,并按各算子复杂度进行层次匹配规则设计,以提高算法效率、保证匹配的准确性。本文通过2种方法进行对比实验,结果表明:层次匹配算法匹配完整度和准确度均能达到90%以上,可以很好地进行面状要素几何匹配;与加权匹配方法相比效率更高,代价更小,且所得匹配结果比加权匹配方法所得结果更加准确。 展开更多

关键词 增量提取 几何匹配 加权匹配 层次匹配

原文传递