面向企业应用集成的主数据管理系统 被引量：13

1

作者 林泳琴 《电脑知识与技术》 2011年第7期4521-4523,4533,共4页

针对企业数据集成中存在的数据质量问题，为解决集成数据的不一致性问题，提出基于CFD、CIND进行数据一致性检测和基于订阅规则进行数据发布的主数据管理系统。系统搭建于SOA架构之上，通过主数据抽取、主数据质量控制、主数据发布等组... 针对企业数据集成中存在的数据质量问题，为解决集成数据的不一致性问题，提出基于CFD、CIND进行数据一致性检测和基于订阅规则进行数据发布的主数据管理系统。系统搭建于SOA架构之上，通过主数据抽取、主数据质量控制、主数据发布等组件功能为各应用系统提供透明的“单一”主数据视图，并实现了主数据变更流程的自动管理。应用结果表明，使用主数据管理有效地解决了在各应用系统中流转数据的一致性问题，从而提高了集成数据的质量。 展开更多

关键词 主数据管理 数据质量 条件函数依赖 条件包含依赖

下载PDF 职称材料

大数据上基于Hadoop的不一致数据检测与修复算法 被引量：13

2

作者 张安珍 门雪莹 +2 位作者 王宏志 李建中 高宏 《计算机科学与探索》 CSCD 北大核心 2015年第9期1044-1055,共12页

随着现代社会互联网的普及应用,产生的海量数据普遍存在质量问题。针对数据质量中不一致性问题进行研究,设计并实现了基于Hadoop并行平台的不一致数据检测与修复算法。采用数据依赖理论中的条件函数依赖,根据给定规则检测不一致数据集,... 随着现代社会互联网的普及应用,产生的海量数据普遍存在质量问题。针对数据质量中不一致性问题进行研究,设计并实现了基于Hadoop并行平台的不一致数据检测与修复算法。采用数据依赖理论中的条件函数依赖,根据给定规则检测不一致数据集,对这些不一致数据求解修复方案,使得修复结果满足数据一致性要求,并给出修复结果的确定性概率。最后通过实验证明了该算法较已有的单机算法有更好的修复效果,当约束规则较少的情况下,算法执行时间呈线性增长。 展开更多

关键词 数据一致性 MAP REDUCE 条件函数依赖 数据质量

下载PDF 职称材料

基于条件函数依赖的数据库一致性检测研究 被引量：9

3

作者 耿寅融 刘波 《计算机工程与应用》 CSCD 2012年第3期122-125,共4页

条件函数依赖是函数依赖在语义上的扩充,可以应用于数据清洗工作,在数据库一致性的修复上应用广泛。讨论了条件函数依赖的相关语义规则,重点研究了基于条件函数依赖对违反数据库一致性元组的检测工作,并引入置信度评价机制,对相关的检... 条件函数依赖是函数依赖在语义上的扩充,可以应用于数据清洗工作,在数据库一致性的修复上应用广泛。讨论了条件函数依赖的相关语义规则,重点研究了基于条件函数依赖对违反数据库一致性元组的检测工作,并引入置信度评价机制,对相关的检测规则进行了改进。改进后的检测方法在基于多个函数依赖的检测中显示出了优越性,使得检测工作更为精简,检测标准更加明确。 展开更多

关键词 条件函数依赖 函数依赖 结构化查询语言(SQL)

下载PDF 职称材料

条件依赖理论及其应用展望 被引量：8

4

作者 胡艳丽 张维明 《计算机科学》 CSCD 北大核心 2009年第12期115-118,145,共5页

介绍了条件函数依赖理论及如何用于检测不一致数据。首先介绍了条件函数依赖的概念及其推理系统,以及如何通过依赖传播实现视图的规范化;阐述了条件函数依赖的一致性和蕴含判定问题,并在此基础上介绍了基于条件函数依赖检测关系数据库... 介绍了条件函数依赖理论及如何用于检测不一致数据。首先介绍了条件函数依赖的概念及其推理系统,以及如何通过依赖传播实现视图的规范化;阐述了条件函数依赖的一致性和蕴含判定问题,并在此基础上介绍了基于条件函数依赖检测关系数据库数据一致性的技术;最后讨论了条件函数依赖的扩展及应用。 展开更多

关键词 数据质量 数据清洗 条件函数依赖 推理规则 依赖传播 一致性判定 蕴含判定

下载PDF 职称材料

一种条件函数依赖挖掘算法的分析与实现 被引量：6

5

作者 周健昌 刘波 《计算机与数字工程》 2012年第9期8-11,共4页

条件函数依赖(Conditional Functional Dependence,CFD)的挖掘是一种重要的数据库分析技术,它是在函数依赖(FunctionalDependence,FD)挖掘的基础上加入条件分析功能扩展而来,当前被应用于数据质量检测。CFD挖掘是在FD挖掘的基础上通过... 条件函数依赖(Conditional Functional Dependence,CFD)的挖掘是一种重要的数据库分析技术,它是在函数依赖(FunctionalDependence,FD)挖掘的基础上加入条件分析功能扩展而来,当前被应用于数据质量检测。CFD挖掘是在FD挖掘的基础上通过条件分析进行更细粒度的信息挖掘,其时间复杂度较高。文章详细介绍一种经典的CFD挖掘方法(即CTANE算法),对其实现方法提出了优化措施,并通过实验比较了不同实现方法的效率,得出了优化措施改进效率的结论。 展开更多

关键词 数据挖掘 数据质量 一致性检测 数据清洗 条件函数依赖 CTANE算法

下载PDF 职称材料

基于条件函数依赖的挖掘算法研究 被引量：6

6

作者 张方舟 高晓松 《计算机技术与发展》 2015年第5期56-59,共4页

由于采用函数依赖(Functional Dependency,FD)对数据库的检测和修复还不够充分,现提出了条件函数依赖(Conditional Functional Dependency,CFD),其是在FD的基础上加入了语义约束。条件函数依赖的挖掘是一种重要的数据库分析技术,CFD挖... 由于采用函数依赖(Functional Dependency,FD)对数据库的检测和修复还不够充分,现提出了条件函数依赖(Conditional Functional Dependency,CFD),其是在FD的基础上加入了语义约束。条件函数依赖的挖掘是一种重要的数据库分析技术,CFD挖掘是在FD挖掘的基础上通过条件分析进行更细粒度的信息挖掘,其时间复杂度较高。文中主要介绍了CFD的相关概念及CFD经典挖掘算法之一—CTANE,并对该算法效率进行改进。改进后的算法不仅可以提高数据挖掘过程中操作的效率,同时也将节省数据的存储空间。 展开更多

关键词 条件函数依赖 数据质量 数据清洗 CTANE算法

下载PDF 职称材料

基于清洗规则和主数据的数据修复算法实现 被引量：5

7

作者 林印华 张春海 刘洁 《计算机科学》 CSCD 北大核心 2012年第S3期174-176,共3页

为了有效地清洗数据,此前已经提出了很多的完整性约束规则,例如条件函数依赖、条件包含依赖。这些约束规则虽然可以侦测出错误的存在,但是不能有效地指导用户纠正错误。实际上,基于约束规则的数据修复可能最终得不到确定性的修复结果,... 为了有效地清洗数据,此前已经提出了很多的完整性约束规则,例如条件函数依赖、条件包含依赖。这些约束规则虽然可以侦测出错误的存在,但是不能有效地指导用户纠正错误。实际上,基于约束规则的数据修复可能最终得不到确定性的修复结果,相反会引入新的错误,因此很大程度上降低了数据修复的效率。针对以上不足,提出了一种有效的数据清洗框架:首先基于Editing Rules和Master Data对数据进行清洗操作,最终得到确定性的修复;然后依据条件函数依赖来修复遗漏的错误,此种修复结果是不确定的,但是相比之下该框架不仅可以有效地保证数据修复的精确性与唯一性,而且提高了数据修复的效率。 展开更多

关键词 条件函数依赖 清洗规则 数据清洗 数据质量

下载PDF 职称材料

异构物联网中关联数据一致性规则挖掘模型 被引量：1

8

作者 许明宇 王宜怀 《计算机仿真》 北大核心 2023年第2期425-428,442,共5页

数据一致性规则属于数据质量管理的核心规则。因此,以高效、准确挖掘为目的,研究了面向异构物联网,构建了一种关联数据一致性规则挖掘模型。先通过多维数据聚类去除异构物联网中的重复数据,以此来减少后续关联数据一致性规则挖掘过程的... 数据一致性规则属于数据质量管理的核心规则。因此,以高效、准确挖掘为目的,研究了面向异构物联网,构建了一种关联数据一致性规则挖掘模型。先通过多维数据聚类去除异构物联网中的重复数据,以此来减少后续关联数据一致性规则挖掘过程的耗时;基于内容相关的条件函数依赖关系建立挖掘模型,并将清理后数据导入中,对其中的一致性规则展开挖掘。经仿真测试可知,针对3种不同数据量的异构物联网数据,上述模型对在挖掘其一致性规则时的效率与准确性均较高,挖掘耗时最大值仅为1.27s,规则挖掘结果与实际规则数量一致,充分证明了上述模型的高效性。 展开更多

关键词 异构物联网 关联数据 一致性规则 规则挖掘 条件函数依赖

下载PDF 职称材料

基于关联规则的条件函数依赖发现及数据修复 被引量：5

9

作者 张春生 图雅 +2 位作者 翁慧 李艳 魏国利 《计算机应用研究》 CSCD 北大核心 2016年第2期384-387,共4页

大数据时代,数据的来源复杂,数据质量存在严重问题,有些数据不准确、缺失或存在错误。不正确的数据严重影响了数据挖掘的质量,给决策造成重大的影响。关于缺失数据的修复方法很多,其中条件函数依赖就是一个有效的方法,在如何发现条件函... 大数据时代,数据的来源复杂,数据质量存在严重问题,有些数据不准确、缺失或存在错误。不正确的数据严重影响了数据挖掘的质量,给决策造成重大的影响。关于缺失数据的修复方法很多,其中条件函数依赖就是一个有效的方法,在如何发现条件函数依赖方面已经有了很多研究成果。提出一种应用关联规则构建条件函数依赖的方法,由于关联规则通过数据挖掘得到,具有一定的隐蔽性,不是一般的方法能够发现,所以,由关联规则构建的条件函数依赖具有一定的应用价值,给出了构建方法,并通过实验证明其有效性。 展开更多

关键词 关联规则 条件函数依赖 一致性 数据修复 大数据 缺失数据

下载PDF 职称材料

基于依赖的数据一致性研究进展 被引量：3

10

作者 余敏 赵晓南 许志 《计算机应用》 CSCD 北大核心 2018年第A02期72-76,102,共6页

大数据时代数据源的多样性使得数据质量良莠不齐,数据中包含的语义不一致性给应用其进行决策的领域造成损失。对数据间语义联系的了解程度决定了错误检出和修复的效果,通常掌握的知识粒度越细错误检出和修复越有效。在关系数据库理论中... 大数据时代数据源的多样性使得数据质量良莠不齐,数据中包含的语义不一致性给应用其进行决策的领域造成损失。对数据间语义联系的了解程度决定了错误检出和修复的效果,通常掌握的知识粒度越细错误检出和修复越有效。在关系数据库理论中提出的函数依赖是描述数据间语义联系的规则,最初用于定义模式,最近被用于改善数据质量。为了弥补函数依赖在解决数据质量、描述语义知识时的局限性,研究人员又定义了条件函数依赖和微函数依赖。应用依赖改善数据一致性通常需要确定依赖集合、发现违反依赖的错误数据和修复错误三步,当前研究人员围绕着其中一两个步骤展开研究取得了一些成果。按依赖所描述语义逐渐细化的顺序,综述最新研究进展,指出在大数据时代尚缺乏兼顾错误检出率、修复效果和可扩展性的一致性问题解决方案,展望未来的研究方向。 展开更多

关键词 数据一致性 函数依赖 条件函数依赖 微函数依赖

下载PDF 职称材料

条件函数依赖与数据质量控制 被引量：4

11

作者 程录庆 《信息系统工程》 2009年第11期106-108,共3页

提高数据质量对于企业管理信息系统意义重大,数据质量的提高涉及数据库的设计、数据的输入、数据的维护及数据清洗全过程。比较了条件函数依赖CFD与传统函数依赖FD;基于条件函数依赖框架对业务规则及领域知识的表达作了初步研究,对脏数... 提高数据质量对于企业管理信息系统意义重大,数据质量的提高涉及数据库的设计、数据的输入、数据的维护及数据清洗全过程。比较了条件函数依赖CFD与传统函数依赖FD;基于条件函数依赖框架对业务规则及领域知识的表达作了初步研究,对脏数据的识别和清洗提供可行的方法和思路。 展开更多

关键词 数据质量 条件函数依赖 业务规则 数据清洗

下载PDF 职称材料

一种基于数据一致性的记录比较方法 被引量：4

12

作者 冉德彤 游宏梁 《电子设计工程》 2018年第1期66-69,73,共5页

记录比较的准确性对能否正确识别相似重复记录起重要作用。为得到更为准确的记录比较结果,提出了一种基于数据一致性的记录比较方法。该方法利用条件函数依赖检测数据一致性信息,基于该信息计算属性相似度,并与传统方法的结果相结合,完... 记录比较的准确性对能否正确识别相似重复记录起重要作用。为得到更为准确的记录比较结果,提出了一种基于数据一致性的记录比较方法。该方法利用条件函数依赖检测数据一致性信息,基于该信息计算属性相似度,并与传统方法的结果相结合,完成记录比较。实验表明,新的记录比较结果有助于获得更高的准确率、召回率和F值。 展开更多

关键词 数据质量 实体分辨 记录比较 数据一致性 条件函数依赖

下载PDF 职称材料

分布式数据库中冲突检测技术研究 被引量：2

13

作者 仲志平 仲晓辉 《计算机技术与发展》 2012年第1期217-220,224,共5页

数据冲突是数据库中数据质量中心问题之一。在集中式数据库中,基于SQL技术可以有效地检测出违背给定条件函数依赖集的元组。然而,当数据库中数据被水平或垂直划分且分布在不同站点时,检测数据冲突将面临更大的挑战,常常需要将数据从一... 数据冲突是数据库中数据质量中心问题之一。在集中式数据库中,基于SQL技术可以有效地检测出违背给定条件函数依赖集的元组。然而,当数据库中数据被水平或垂直划分且分布在不同站点时,检测数据冲突将面临更大的挑战,常常需要将数据从一个站点移动到另外一个站点。提出了分布式数据库中条件函数依赖冲突检测算法,该算法不仅能有效地检测出水平划分数据中条件函数依赖冲突,而且能减少数据传输。实验结果证实算法是有效的。 展开更多

关键词 条件函数依赖 分布式数据库 冲突检测 水平划分

下载PDF 职称材料

基于开项集剪枝的常量条件函数依赖挖掘 被引量：1

14

作者 周金陵 刁兴春 曹建军 《清华大学学报（自然科学版）》 EI CAS CSCD 北大核心 2016年第3期253-261,共9页

为了减小常量条件函数依赖的搜索空间,提高挖掘效率,针对常量条件函数依赖挖掘算法CFDMiner,提出了一系列剪枝优化策略。理论研究发现,CFDMiner的输入——关系数据的全部开项集和闭项集对产生有效的常量条件函数依赖仍然存在很多无效、... 为了减小常量条件函数依赖的搜索空间,提高挖掘效率,针对常量条件函数依赖挖掘算法CFDMiner,提出了一系列剪枝优化策略。理论研究发现,CFDMiner的输入——关系数据的全部开项集和闭项集对产生有效的常量条件函数依赖仍然存在很多无效、冗余的项集。从理论上证明了通过合理剪枝,选取开项集的子集与对应的闭项集,能够得到与原算法一致的结果。实验表明：相比原始算法CFDMiner,优化后的算法搜索空间更小,实际数据集上平均挖掘效率提高4~5倍。 展开更多

关键词 条件函数依赖 函数依赖 开项集 闭项集 剪枝

原文传递

基于内容相关的条件函数依赖的一致性清洗方法 被引量：1

15

作者 杜岳峰 申德荣 +1 位作者 张亮 于戈 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2016年第12期1683-1687,共5页

基于条件函数依赖提出了一种内容相关的条件函数依赖,并给出基于内容相关的条件函数依赖的一致性清洗方法.通过分析条件函数依赖之间的关系,将相关联的条件函数依赖合并组成内容相关的条件函数依赖.内容相关的条件函数依赖可以检测多条... 基于条件函数依赖提出了一种内容相关的条件函数依赖,并给出基于内容相关的条件函数依赖的一致性清洗方法.通过分析条件函数依赖之间的关系,将相关联的条件函数依赖合并组成内容相关的条件函数依赖.内容相关的条件函数依赖可以检测多条件值下的数据一致性问题并提供可用于一致性修复的参考值.同时,提出了一种一致性修复的代价模型.模型参考内容相关的条件函数依赖对应元组的实际情况进行修复,实现代价最优,同时保证数据一致性.通过在两组真实数据集上进行试验测试,证明提出的基于内容相关的条件函数依赖的一致性清洗方法能够准确地检测数据的一致性问题并加以修复. 展开更多

关键词 数据清洗 条件函数依赖 内容相关 数据一致性 修复代价模型

下载PDF 职称材料

基于条件函数依赖的隐私保护模型 被引量：1

16

作者 陈伟鹤 陈霖 《计算机应用研究》 CSCD 北大核心 2012年第10期3838-3841,共4页

数据拥有者发布的数据中如果包含条件函数依赖会导致数据的隐私受到攻击,由条件函数依赖产生的属性间的关联会带来潜在的隐私泄露问题。针对现有的隐私保护方法均无法保护包含条件函数依赖的数据的隐私,形式化地定义了基于条件函数依赖... 数据拥有者发布的数据中如果包含条件函数依赖会导致数据的隐私受到攻击,由条件函数依赖产生的属性间的关联会带来潜在的隐私泄露问题。针对现有的隐私保护方法均无法保护包含条件函数依赖的数据的隐私,形式化地定义了基于条件函数依赖的隐私攻击,提出了隐私保护模型l-deduction来对包含条件函数依赖的数据进行隐私保护;并设计了相应的匿名算法来实现l-deduction模型。理论分析和实验结果表明,该方法既能保护包含条件函数依赖的数据的隐私,又具有较小的信息损失度。 展开更多

关键词 隐私保护 数据发布 条件函数依赖 l-deduction 信息损失

下载PDF 职称材料

基于条件函数依赖的CTANE算法研究与应用 被引量：1

17

作者 毛燠锋 钱振兴 +1 位作者 万定生 朱跃龙 《计算机工程与应用》 CSCD 北大核心 2017年第11期85-89,共5页

针对复杂庞大有研究价值的数据,查找其中蕴含的条件函数依赖可以有效地利用这些有价值的数据。但现有的条件函数依赖搜索算法在面对庞大的数据时查找效率较慢,所以对现有的算法的改进意义重大。针对水利普查数据的特点对查找条件函数依... 针对复杂庞大有研究价值的数据,查找其中蕴含的条件函数依赖可以有效地利用这些有价值的数据。但现有的条件函数依赖搜索算法在面对庞大的数据时查找效率较慢,所以对现有的算法的改进意义重大。针对水利普查数据的特点对查找条件函数依赖的算法进行了改进,在原有算法的基础上加入了剪枝策略。实验和理论证明,改进后的算法相比传统的搜索算法在保证搜索质量的前提下加快了搜索速度,使得查找数据中的条件函数依赖更加快捷便利。 展开更多

关键词 条件函数依赖 搜索算法 水利普查 剪枝策略

下载PDF 职称材料

基于内容感知发现XML条件函数依赖 被引量：1

18

作者 郑婷 段富 《计算机应用研究》 CSCD 北大核心 2014年第12期3655-3658,3662,共5页

针对XML函数依赖(XFD)不能充分检测XML局部数据源语义上的数据不一致,借鉴关系数据库中条件函数依赖(CFD)的概念,并根据XML自身结构和约束特性,提出了基于内容感知发现(CAD)XML条件函数依赖(XCFD),CAD使用隐藏在数据值中的内容发现局部... 针对XML函数依赖(XFD)不能充分检测XML局部数据源语义上的数据不一致,借鉴关系数据库中条件函数依赖(CFD)的概念,并根据XML自身结构和约束特性,提出了基于内容感知发现(CAD)XML条件函数依赖(XCFD),CAD使用隐藏在数据值中的内容发现局部XML文档的XCFDs,检测异构数据源中数据一致性,提高数据的质量,并给出了详细的算法,同时引入修剪规则集减少搜索点阵和候选的XCFD的数量,提高算法的效率,使得XCFD无冗余、最小化。通过案例研究表明,基于CAD方法发现的XCFD比现有XFD发现更多的函数依赖和语义约束。 展开更多

关键词 可扩展标记语言 条件函数依赖 语义约束 内容感知 数据一致性

下载PDF 职称材料

一种增量发现条件函数依赖的算法 被引量：1

19

作者 李丁月 刘建勋 翟海军 《计算机工程与科学》 CSCD 北大核心 2013年第8期149-155,共7页

数据库频繁更新会导致满足条件的条件函数依赖(CFDs)发生变化,为获取准确的条件函数依赖,可以在更新后的数据库上重新执行发现过程,但这种方法会导致大量时间都浪费在对原始数据集的重复处理上。针对这种情况,在CFINDER算法基础上,提出... 数据库频繁更新会导致满足条件的条件函数依赖(CFDs)发生变化,为获取准确的条件函数依赖,可以在更新后的数据库上重新执行发现过程,但这种方法会导致大量时间都浪费在对原始数据集的重复处理上。针对这种情况,在CFINDER算法基础上,提出了一个增量发现条件函数依赖的算法CFUP。当数据库中增加新数据集时,CFUP在已有的CFDs的基础上,去掉不满足条件的CFDs,发现满足条件的新CFDs。实验表明,该算法能有效地进行条件函数依赖的增量式更新,与重新运行CFINDER算法相比,减少了原始数据集的扫描次数,提高了更新CFDs的效率。 展开更多

关键词 条件函数依赖 增量式算法 数据库

下载PDF 职称材料

条件函数依赖及其在领域无关数据清洗中的应用 被引量：1

20

作者 周健昌 卜媛媛 《微型电脑应用》 2012年第9期23-26,30,共5页

条件函数依赖(Conditional Functional Dependeny,CFD)是对函数依赖(Functional Depencency,FD)加入语义约束扩展而来,它在数据库一致性检测、数据清洗方面更优于后者。讨论了条件函数依赖的相关概念及其基本性质,讨论如何将它应用于数... 条件函数依赖(Conditional Functional Dependeny,CFD)是对函数依赖(Functional Depencency,FD)加入语义约束扩展而来,它在数据库一致性检测、数据清洗方面更优于后者。讨论了条件函数依赖的相关概念及其基本性质,讨论如何将它应用于数据清洗,并对已提出的基于CFD的数据清洗方案提出改进措施,并通过实验说明改进措施的可行性。 展开更多

关键词 数据挖掘 数据清洗 条件函数依赖

下载PDF 职称材料