数据仓库中ETL技术的研究 被引量：118

1

作者 张宁 贾自艳 史忠植 《计算机工程与应用》 CSCD 北大核心 2002年第24期213-216,共4页

作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL... 作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL的具体设计和实现方法。 展开更多

关键词 数据仓库 ETL 数据库 数据模型 数据抽取 数据转换 数据清洗 数据装载

下载PDF 职称材料

一种可靠的数据仓库中ETL策略与架构设计 被引量：46

2

作者 尤玉林 张宪民 《计算机工程与应用》 CSCD 北大核心 2005年第10期172-174,229,共4页

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地... 作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。 展开更多

关键词 数据仓库 ETL 数据抽取 数据转换 数据清洗 数据装载

下载PDF 职称材料

数据仓库实现中ETL的应用研究 被引量：3

3

作者 先晓兵 常晋义 《计算机与现代化》 2007年第10期43-46,共4页

通过外贸业务分析决策系统的实现,探讨在数据仓库项目应用过程中,如何针对来自不同应用系统、不同数据平台、不同数据源形式的源数据系统存在的数据质量的差异性、缺乏一致性等问题,设计较好的ETL(Extract,Transform,Load)过程解决方案... 通过外贸业务分析决策系统的实现,探讨在数据仓库项目应用过程中,如何针对来自不同应用系统、不同数据平台、不同数据源形式的源数据系统存在的数据质量的差异性、缺乏一致性等问题,设计较好的ETL(Extract,Transform,Load)过程解决方案,将数据从源数据系统中抽取、转换成数据仓库需要的格式和统一数据类型,并正确加载到数据仓库中,为决策支持系统的实现提供高质量的基础数据。 展开更多

关键词 数据仓库 数据提取 数据转换 数据加载 DTS(数据转换系统)

下载PDF 职称材料

数据仓库在电信统计分析中的应用 被引量：5

4

作者 于红蕾 华庆一 +1 位作者 刘燕玲 罗养霞 《计算机技术与发展》 2007年第8期201-204,共4页

电信建立以客户为中心的服务体系,对于维系老客户、争取新客户、增强市场竞争能力有重要的意义。由于数据仓库能统一数据管理,保证数据准确和可追踪管理,支持内控,构建企业统一的数据管理平台,所以数据仓库越来越多地被应用于以客户为... 电信建立以客户为中心的服务体系,对于维系老客户、争取新客户、增强市场竞争能力有重要的意义。由于数据仓库能统一数据管理,保证数据准确和可追踪管理,支持内控,构建企业统一的数据管理平台,所以数据仓库越来越多地被应用于以客户为中心的的电信CRM统计分析系统中。以数据仓库在电信CRM中的建设为实例,从总体结构、模型设计、数据的抽取、转换和加载方面进行描述,说明了数据仓库在电信统计分析系统中的应用。 展开更多

关键词 数据仓库 星形模式 ETL 数据抽取 数据转换 数据加载

下载PDF 职称材料

零售业数据仓库中ETL技术的研究 被引量：1

5

作者 黄丽娟 郑雪峰 靳风荣 《计算机与现代化》 2004年第9期63-65,共3页

数据仓库中的数据不是传统数据库中数据的简单堆积,它是一个复杂的容纳数据集成的系统工程,为决策者提供访问、分析及共享信息的能力,从而发挥数据仓库的真正功效。本文针对于零售业,阐述了在零售业数据仓库系统中ETL的流程并结合实际... 数据仓库中的数据不是传统数据库中数据的简单堆积,它是一个复杂的容纳数据集成的系统工程,为决策者提供访问、分析及共享信息的能力,从而发挥数据仓库的真正功效。本文针对于零售业,阐述了在零售业数据仓库系统中ETL的流程并结合实际应用提出了在零售业数据仓库系统中的ETL过程应考虑的诸多问题及解决方案。 展开更多

关键词 零售业 数据仓库 ETL 数据抽取 数据转换 数据清洗 数据加载

下载PDF 职称材料

基于无监督学习的数据清洗算法 被引量：3

6

作者 孙铁民 于杰 +2 位作者 尚程 田大新 张丽华 《吉林大学学报（信息科学版）》 CAS 2008年第6期599-604,共6页

为了解决数据仓库中相似重复记录的数据问题,提出了基于无监督学习的数据清洗算法。该算法采用基于Hebb ian假设的自适应学习方法,并通过相似度确定奖励和惩罚等级。在学习过程中根据需要增加新的聚类,在学习结束后,通过分析聚类情况删... 为了解决数据仓库中相似重复记录的数据问题,提出了基于无监督学习的数据清洗算法。该算法采用基于Hebb ian假设的自适应学习方法,并通过相似度确定奖励和惩罚等级。在学习过程中根据需要增加新的聚类,在学习结束后,通过分析聚类情况删除错误的聚类,从而避免了死神经元问题并使聚类更加准确。实验表明,该算法能准确地完成实体识别。 展开更多

关键词 数据仓库 数据抽取 数据转换 数据清洗 数据装载

下载PDF 职称材料

基于Java和Oracle数据库的航空飞行电报数据处理 被引量：2

7

作者 吴淑宁 崔德光 王丹妮 《计算机应用》 CSCD 北大核心 2003年第3期118-120,共3页

航空飞行电报是空中交通管制指挥监测的重要数据源 ,电报中包含了航空飞行的关键数据信息。介绍了一种基于Java和Oracle数据库的航空飞行电报数据提取和数据加载的方法 ,并对其性能优化、避免数据冗余的特点作了重点描述。

关键词 Java Oracle 数据库 航空飞行电报 数据处理 空中交通管制 数据提取 数据加载

下载PDF 职称材料

基于数据质量控制的ETL 被引量：4

8

作者 孙水华 刘建华 林志强 《福建工程学院学报》 CAS 2011年第4期363-366,共4页

提出了一种基于数据质量进行控制的ETL技术,在传统的ETL操作流程中增加脏数据处理模块及抽样数据质量评估模块,并将数据质量控制思想融入到ETL的操作流程设计中,控制ETL过程的数据质量。实验表明,带有质量控制的ETL算法设计优化了ETL工... 提出了一种基于数据质量进行控制的ETL技术,在传统的ETL操作流程中增加脏数据处理模块及抽样数据质量评估模块,并将数据质量控制思想融入到ETL的操作流程设计中,控制ETL过程的数据质量。实验表明,带有质量控制的ETL算法设计优化了ETL工作流程,提高了进入数据挖掘中数据的质量。 展开更多

关键词 ETL过程 脏数据处理 数据预处理 数据质量评估

下载PDF 职称材料

一种基于XML的装备保障数据集成方法 被引量：4

9

作者 周立军 张杰 +1 位作者 吕红 任颖 《计算机系统应用》 2011年第11期162-166,153,共6页

为了解决装备保障信息系统的数据异构问题,通过分析数据集成的相关概念,针对装备保障数据集成过程中的特点,提出了一种基于XML转换规则的数据集成方法,对集成过程中数据抽取、转换、载入和清洗的实现过程进行了详细设计。

关键词 数据集成 装备保障 XML 数据抽取 数据转换

下载PDF 职称材料

勘探开发数据整合之ETL系统的研究与实现 被引量：4

10

作者 王继鹏 金云智 李伟 《中国矿业》 北大核心 2019年第A02期191-194,199,共5页

在勘探开发一体化数据中心建设过程中,为解决多元异构数据源的互联互通问题,实现数据资源一次采集,全局共享的体系。通过对ETL数据抽取、数据转换和数据加载等技术的研究,结合软件工程原理设计出ETL系统,该系统实现数据源配置、迁移视... 在勘探开发一体化数据中心建设过程中,为解决多元异构数据源的互联互通问题,实现数据资源一次采集,全局共享的体系。通过对ETL数据抽取、数据转换和数据加载等技术的研究,结合软件工程原理设计出ETL系统,该系统实现数据源配置、迁移视图管理,迁移规则管理、迁移任务管理和迁移过程监控等功能。ETL系统的实现解决现有勘探开发专业数据库的互联互通问题,实现数据从各专业数据库采集,通过ETL系统数据抽取、转换和加载,把数据实时同步到勘探开发一体化数据中心。 展开更多

关键词 互联互通 数据抽取 数据转换 流程配置

下载PDF 职称材料

基于电信行业的ETL系统的设计与实现 被引量：1

11

作者 刘强 翁惠玉 《计算机工程》 CAS CSCD 北大核心 2004年第B12期30-31,42,共3页

基于电信行业的数据仓库,对其数据抽取、数据转换和数据装载的实现方法进行了探讨,这些方法对其他行业数据仓库的构建具有 借鉴作用。

关键词 数据仓库 ETL 数据抽取 数据转换 数据装载

下载PDF 职称材料

基于发布/订阅技术的数据抽取 被引量：3

12

作者 朱国强 刘厚泉 《微计算机信息》 北大核心 2007年第21期224-225,233,共3页

随着信息技术的发展和企业管理水平的提高,企业信息系统整合的需求越来越强烈。数据中心正是企业数据整合,建立科学决策的基础。在数据中心的建立过程中,数据抽取是必不可少的,最重要的环节。基于发布/订阅的抽取方法可以降低数据源和... 随着信息技术的发展和企业管理水平的提高,企业信息系统整合的需求越来越强烈。数据中心正是企业数据整合,建立科学决策的基础。在数据中心的建立过程中,数据抽取是必不可少的,最重要的环节。基于发布/订阅的抽取方法可以降低数据源和数据中心的耦合度,使系统具有较高灵活性、动态性,可以满足时时和大规模数据抽取的需要。 展开更多

关键词 数据中心 数据抽取 发布 订阅

下载PDF 职称材料

基于EXCEL软件的诊断性Meta分析中缺失数据的提取方法 被引量：3

13

作者 瞿振 尹长青 胡翠苹 《循证医学》 CSCD 2017年第2期116-119,124,共5页

诊断性Meta分析逐渐成为循证医学研究中的一种重要分析方法,但是,实际上因许多文献中数据提供不全,常导致文献无法纳入而降低诊断性Meta分析的效能。本文总结几种常见的诊断性Meta分析中数据不全的情形,应用实例数据,以Excel软件为平台... 诊断性Meta分析逐渐成为循证医学研究中的一种重要分析方法,但是,实际上因许多文献中数据提供不全,常导致文献无法纳入而降低诊断性Meta分析的效能。本文总结几种常见的诊断性Meta分析中数据不全的情形,应用实例数据,以Excel软件为平台,提供一种纳入文献数据给出不全的解决方案。 展开更多

关键词 诊断性Meta分析 EXCEL软件 数据提取

下载PDF 职称材料

船舶轴系设计规范中曲线类图形的反向数据获取方法 被引量：3

14

作者 刘杰 刘文吉 刘灿波 《船海工程》 北大核心 2017年第4期140-143,共4页

利用像素比例映射方法原理,结合人为确定坐标轴像素起始点及输入对应代表的实际值,针对轴系规范中各类典型趋势曲线的变化比较光顺的特征,提出基于斜率变化程度控制搜索步长、根据斜率正负决定初始搜索方向的变步长曲线搜索方法。相比... 利用像素比例映射方法原理,结合人为确定坐标轴像素起始点及输入对应代表的实际值,针对轴系规范中各类典型趋势曲线的变化比较光顺的特征,提出基于斜率变化程度控制搜索步长、根据斜率正负决定初始搜索方向的变步长曲线搜索方法。相比传统的像素邻域搜索方法,省去了图像细化的处理步骤,提高了搜索效率。 展开更多

关键词 趋势曲线 数据提取 趋势识别 算法

下载PDF 职称材料

农业专家系统中数据库系统应用的研究 被引量：1

15

作者 杨宇姝 《农业网络信息》 2004年第9期16-17,15,共3页

数据库系统是农业专家系统的重要数据资源。文章介绍了数据库系统中数据析取的实现、数据库维护系统的实现及缓冲库的应用,阐述本人在农业专家系统中创建的几种数据库及改进成网络版数据库系统采用的方法。

关键词 数据库系统 农业专家系统 数据析取 网络版 数据资源 缓冲 数据库维护 应用 文章

下载PDF 职称材料

一种ROC曲线数据提取方法并用于miRNA-122诊断慢性病毒性肝炎的Meta分析 被引量：3

16

作者 瞿振 胡翠苹 《循证医学》 CSCD 2016年第3期159-164,共6页

目的提供一种数据提取方法并用于micro RNA-122对慢性病毒性肝炎的诊断性Meta分析。方法计算机检索CBM、CNKI、VIP、EMBASE、Pub Med数据库,对检索文献进行筛查,纳入符合标准的文献,并汇总文献中有关micro RNA-122对丙型肝炎病毒/乙型... 目的提供一种数据提取方法并用于micro RNA-122对慢性病毒性肝炎的诊断性Meta分析。方法计算机检索CBM、CNKI、VIP、EMBASE、Pub Med数据库,对检索文献进行筛查,纳入符合标准的文献,并汇总文献中有关micro RNA-122对丙型肝炎病毒/乙型肝炎病毒的受试者工作特征曲线诊断的结果;对于未正式报道敏感性数值和特异性数值的文献,采用数据提取软件Get Data Graph Digitizer 2.24获取文献中相关敏感性和特异性数值,用于micro RNA-122鉴别健康人和慢性肝炎病毒（乙型/丙型）感染患者,通过Stata12软件等进行分析,结果以敏感性、特异性以及对受试者工作特征曲线进行汇总。结果最终纳入6篇文献,其中3篇是关于丙型肝炎病毒感染患者的诊断,另外3篇为乙型肝炎病毒感染患者的诊断;共有321名慢性病毒性肝炎感染者（包括112名丙型肝炎患者、209名乙型肝炎患者）以及191名健康对照者被纳入研究;应用我们提取数据的方法表明,通过软件提取的敏感性和特异性数据与原文数据保持一致。数据提取汇总后的敏感性、特异性分别为0.91（95%可信区间0.83~0.96）、0.87（95%可信区间0.80~0.92）,受试者工作特征曲线下面积为0.94（95%可信区间0.92~0.96）。结论以Get Data Graph Digitizer软件创建的提取受试者工作特征曲线中数据的方法具有很好的真实性和可重复性,以提取的数据汇总分析表明,血清micro RNA-122可很好地用于鉴别健康人与慢性肝炎感染患者,并且对慢性乙型肝炎病毒感染的诊断具有更高的灵敏性。 展开更多

关键词 microRNA-122 慢性病毒性肝炎 受试者工作特征曲线 敏感性 特异性 数据提取

下载PDF 职称材料

基于XML的密集型Web信息抽取与集成研究 被引量：2

17

作者 卢中宁 刘放美 严宇辉 《郑州轻工业学院学报（自然科学版）》 CAS 2008年第3期31-35,共5页

针对密集型Web信息的数据抽取问题,提出了一种适合于XML结构又较为通用的树型结构抽取规则,把密集型Web上的数据抽取出来整合到指定模式的XML文档中.使用基于样例学习的半结构化Web信息抽取方法,自行开发了一个基于XML的Web新书查询原... 针对密集型Web信息的数据抽取问题,提出了一种适合于XML结构又较为通用的树型结构抽取规则,把密集型Web上的数据抽取出来整合到指定模式的XML文档中.使用基于样例学习的半结构化Web信息抽取方法,自行开发了一个基于XML的Web新书查询原型系统,抽取Web页面效果良好,可直接应用于专门的Web网站信息的抽取,也可以用于其他相关应用的数据准备阶段. 展开更多

关键词 XML 密集型Web数据 数据抽取 信息集成

下载PDF 职称材料

Web的半结构化数据抽取的方法及其实现

18

作者 杨晓宇 《太原师范学院学报（自然科学版）》 2003年第3期36-39,共4页

Web数据存在方式的特殊性使 Web数据控制变得十分复杂 ,把现有的 Web页面转换成 XML可以使那些熟悉 Web最常用技术的开发人员能快速而便捷地获取他们所需的以 Web方式发布的信息 .

关键词 半结构化数据 WEB 数据控制 XML 信息抽取 数据抽取技术 数据抽取系统

下载PDF 职称材料

数据仓库技术在银行信贷管理信息系统中的应用 被引量：1

19

作者 贾东 《信息技术》 2003年第4期38-40,共3页

总结了中国建设银行信贷管理信息系统的建设经验 ,对数据仓库在银行信贷管理信息系统中的应用从多方面进行了论述。将建设银行信贷信息业务数据收集到业务数据库并进行数据抽取到数据仓库中 ,再应用BO等数据分析工具 ,进行灵活的分析统... 总结了中国建设银行信贷管理信息系统的建设经验 ,对数据仓库在银行信贷管理信息系统中的应用从多方面进行了论述。将建设银行信贷信息业务数据收集到业务数据库并进行数据抽取到数据仓库中 ,再应用BO等数据分析工具 ,进行灵活的分析统计和钻取 。 展开更多

关键词 数据仓库技术 银行 信贷管理信息系统 数据抽取 CMIS 数据挖掘 统计报表

下载PDF 职称材料

基于物理隔离技术的触发式数据库同步方案 被引量：1

20

作者 尹飞 熊政 祝永晋 《江苏电机工程》 2010年第1期35-37,共3页

数据库同步是不同安全区域应用中必不可少的、最重要的环节。数据库同步包括数据的抽取(Extract)和装载(Load)2个过程。电能量采集涉及的电能表数量多、采集周期短、数据容量较大,不适宜采用全量同步的方式,因此需要研究增量的数据抽取... 数据库同步是不同安全区域应用中必不可少的、最重要的环节。数据库同步包括数据的抽取(Extract)和装载(Load)2个过程。电能量采集涉及的电能表数量多、采集周期短、数据容量较大,不适宜采用全量同步的方式,因此需要研究增量的数据抽取和数据装载。 展开更多

关键词 物理隔离 数据库同步 数据抽取 数据装载

下载PDF 职称材料