期刊文献+
共找到69篇文章
< 1 2 4 >
每页显示 20 50 100
基于皮尔逊相关系数的光伏电站数据修复 被引量:62
1
作者 纪德洋 金锋 +2 位作者 冬雷 张姗 于坤洋 《中国电机工程学报》 EI CSCD 北大核心 2022年第4期1514-1522,共9页
针对光伏电站采集数据的过程中存在数据异常或缺失的实际情况,提出了一种基于皮尔逊相关系数的插值方法。该方法根据皮尔逊相关系数找到与缺失数据相似的时刻,再根据相似时刻的数据估计出缺失的数据。这种方法能够有效的对数据进行修复... 针对光伏电站采集数据的过程中存在数据异常或缺失的实际情况,提出了一种基于皮尔逊相关系数的插值方法。该方法根据皮尔逊相关系数找到与缺失数据相似的时刻,再根据相似时刻的数据估计出缺失的数据。这种方法能够有效的对数据进行修复,还原准确度更高,最大化提高残缺数据的使用率。 展开更多
关键词 光伏电站 数据缺失 皮尔逊相关系数 数据修复
下载PDF
基于压缩感知理论的缺失数据集下线损预测模型 被引量:19
2
作者 刘东升 代盛国 +4 位作者 商学斌 顾洁 金之俭 王颖琛 李煜 《广东电力》 2019年第2期80-86,共7页
线损预测是电网企业进行线损管理的基础,而电力系统中数据收集与传输过程中不可避免出现各种异常状况,导致线损数据缺失,影响线损预测精度。为解决这一问题,应用压缩感知理论研究矩阵稀疏变换方法和矩阵重构算法,实现电网运行缺失数据... 线损预测是电网企业进行线损管理的基础,而电力系统中数据收集与传输过程中不可避免出现各种异常状况,导致线损数据缺失,影响线损预测精度。为解决这一问题,应用压缩感知理论研究矩阵稀疏变换方法和矩阵重构算法,实现电网运行缺失数据的补全与重建,利用基于自适应噪声的完整集成经验模态分解建立线损预测模型,完成缺失数据集下的线损预测。某10 kV配电网算例验证结果表明,在数据量较大或数据缺失情况较严重的情况下,基于压缩感知理论的数据恢复方法能比传统方法更好地修复原始数据,恢复原始数据的变化趋势,提高线损预测精度。 展开更多
关键词 压缩感知 数据缺失 线损预测 数据修复 基于自适应噪声的完整集成经验模态分解
下载PDF
基于时效规则的数据修复方法 被引量:12
3
作者 段旭良 郭兵 +3 位作者 沈艳 申云成 董祥千 张洪 《软件学报》 EI CSCD 北大核心 2019年第3期589-603,共15页
数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不... 数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果. 展开更多
关键词 数据质量 数据时效 数据修复 数据清洗 个人大数据
下载PDF
基于EMD和BCS的振动信号数据修复方法 被引量:13
4
作者 马云飞 贾希胜 +2 位作者 胡起伟 郭驰名 王双川 《仪器仪表学报》 EI CAS CSCD 北大核心 2019年第3期154-162,共9页
为改善振动信号修复效果,引入贝叶斯压缩感知(BCS)理论,并提出一种基于经验模态分解(EMD)的贝叶斯压缩感知修复方法,以解决连续缺失信号修复问题。针对随机缺失信号,根据压缩感知修复原理,利用贝叶斯压缩感知算法进行修复;针对连续缺失... 为改善振动信号修复效果,引入贝叶斯压缩感知(BCS)理论,并提出一种基于经验模态分解(EMD)的贝叶斯压缩感知修复方法,以解决连续缺失信号修复问题。针对随机缺失信号,根据压缩感知修复原理,利用贝叶斯压缩感知算法进行修复;针对连续缺失信号,先对其进行经验模态分解,对分解得到的所有基本模式分量利用多任务贝叶斯压缩感知算法进行修复,最终将所有修复的基本模式分量累加得到整体信号。利用西储大学公开轴承数据进行修复实验,发现所提方法在时频域指标、误差、信噪比、峰值信噪比等方面均优于正交匹配追踪和正则化正交匹配追踪算法。从修复效果角度验证,发现该方法成功还原了外圈故障信号基本模式分量中的故障特征频率,达到了修复的目的。 展开更多
关键词 振动信号 贝叶斯压缩感知 经验模态分解 数据修复 轴承
下载PDF
三维面形测量中的基于神经网络的数据修补技术 被引量:3
5
作者 孙玉文 王晓明 刘健 《计量学报》 CSCD 北大核心 2001年第1期7-11,共5页
提出了一种基于神经网络的数据修补方法。在BP算法的基础上 ,利用遗传算法强大的全局搜索能力使网络学习跳出局部极小值 ,从而提高了样本的训练质量和速度。试验结果表明 ;该算法精度高、速度快 ,优于以往文献中提出的数据修补方法 ,在... 提出了一种基于神经网络的数据修补方法。在BP算法的基础上 ,利用遗传算法强大的全局搜索能力使网络学习跳出局部极小值 ,从而提高了样本的训练质量和速度。试验结果表明 ;该算法精度高、速度快 ,优于以往文献中提出的数据修补方法 ,在机器视觉、工业检测。 展开更多
关键词 人工神经网络 遗传算法 数据修补 BP算法 三维面形测量 曲面测量
下载PDF
含缺失属性值的问题数据检测与修复 被引量:9
6
作者 高科 刁兴春 曹建军 《计算机工程与设计》 北大核心 2016年第3期643-649,共7页
为更加准确地对问题数据进行检测及修复,针对存在属性值缺失的情况,提出综合利用数据质量规则与FellegiHolt方法进行数据质量检查的策略。针对不同的检测需求,分别设计以问题数据定位和问题数据修复为目标的检测算法,提出相应算法以解... 为更加准确地对问题数据进行检测及修复,针对存在属性值缺失的情况,提出综合利用数据质量规则与FellegiHolt方法进行数据质量检查的策略。针对不同的检测需求,分别设计以问题数据定位和问题数据修复为目标的检测算法,提出相应算法以解决问题数据的修复以及缺失数据的填充问题。分别利用实例数据与生成数据进行实验,实验结果表明,该方法对问题数据进行检测的召回率和准确率有明显优势,两种检测策略在进行问题数据检测时的效率也有较大差异。 展开更多
关键词 属性值缺失 数据规则 Fellegi-Holt 数据修复 数据填充
下载PDF
分布式存储系统最小带宽再生码研究 被引量:7
7
作者 王禹 赵跃龙 侯昉 《小型微型计算机系统》 CSCD 北大核心 2012年第8期1710-1714,共5页
分布式存储系统常常使用纠删码冗余技术提高系统可靠性.为保证一定的冗余度,系统必须具有自修复能力再生失效数据.再生码是纠删码的一种改进形式,最大特点在于无需下载整个数据文件就能恢复单个节点数据,从而有效减少数据修复时的网络带... 分布式存储系统常常使用纠删码冗余技术提高系统可靠性.为保证一定的冗余度,系统必须具有自修复能力再生失效数据.再生码是纠删码的一种改进形式,最大特点在于无需下载整个数据文件就能恢复单个节点数据,从而有效减少数据修复时的网络带宽.相关文献证明再生码数据修复时存在极值点—最小带宽再生点(MBR),由此提出最小带宽再生码MBRC.文中从数据分布、失效数据修复和数据重构三个方面描述了实现的原理,并通过构建数据矩阵和修复矩阵实现MBRC再生码.利用实例详细给出了再生码的实现过程,并理论证明正确性,最后仿真实验验证了MBRC的有效性. 展开更多
关键词 分布式 存储系统 再生码 数据修复
下载PDF
数据时效性修复问题的求解算法 被引量:4
8
作者 李默涵 李建中 《计算机研究与发展》 EI CSCD 北大核心 2015年第9期1992-2001,共10页
数据过时问题普遍存在于实际应用中,因此将数据库中的过时数据修复为最新值是提高数据质量的关键步骤.当前主要有基于规则和基于统计2类数据修复方法.基于规则的修复方法能够将领域知识直观地表达为规则的形式,但是难以表达数据中某些... 数据过时问题普遍存在于实际应用中,因此将数据库中的过时数据修复为最新值是提高数据质量的关键步骤.当前主要有基于规则和基于统计2类数据修复方法.基于规则的修复方法能够将领域知识直观地表达为规则的形式,但是难以表达数据中某些复杂的关联关系;基于统计的方法能够表达数据中的复杂关联关系,并修复许多通过规则难以发现和修复的错误,但是该类方法均需要学习较复杂的条件概率分布,且难以直接应用数据语义相关的领域知识.研究数据时效性的修复问题,同时,为了克服当前2类数据修复方法的缺点,提出一类新的修复规则,将规则和统计的方法结合起来修复过时数据.该规则一方面能够以传统规则的方式表达领域知识,另一方面还能够使用其特有的分布表来描述数据随时间变化的统计信息.接着,还给出了修复规则学习算法和数据时效性修复算法.真实和虚拟数据上的实验均验证了算法的有效性. 展开更多
关键词 数据质量 数据时效性 数据修复 数据质量规则 分布表
下载PDF
基于Sigma卡尔曼滤波的光伏电站监测数据修复方法 被引量:5
9
作者 俞娜燕 李向超 +2 位作者 费科 倪晓宇 任佳琦 《数字技术与应用》 2018年第8期32-34,共3页
实际电网中监测数据存在不确定性噪声、通信丢包导致的异常数据项,将会给光伏发电规律的总结与电网运行与调度的决策产生带来困难。光伏电站输出功率受到多种因素影响,包括太阳辐射度、环境温度、太阳辐射面积等,而光伏电站输出功率在... 实际电网中监测数据存在不确定性噪声、通信丢包导致的异常数据项,将会给光伏发电规律的总结与电网运行与调度的决策产生带来困难。光伏电站输出功率受到多种因素影响,包括太阳辐射度、环境温度、太阳辐射面积等,而光伏电站输出功率在相同气象条件下存在相似性。本文考虑光伏电站输出功率的多种影响因素,训练RBF人工神经网络作为状态转换方程。然后基于Sigma点卡尔曼滤波理论对光伏电站输出功率信息进行滤波。算例结果表明,所提方法能够有效修复光伏电站监测数据。 展开更多
关键词 Sigma卡尔曼滤波 光伏电站 数据修复
下载PDF
民用建筑“四节一环保”数据的清洗与修复方法研究 被引量:4
10
作者 申鸿怡 徐芳芳 王新民 《北京大学学报(自然科学版)》 EI CAS CSCD 北大核心 2020年第5期785-795,共11页
针对民用建筑“四节一环保”原始数据中存在的数据质量问题,使用多种方法实现数据清洗与数据修复。数据清洗方面,重点关注单栋建筑能耗数据中存在的相似重复记录及异常记录。其中,识别异常记录采用3σ准则、DBSCAN聚类算法及箱线图内限... 针对民用建筑“四节一环保”原始数据中存在的数据质量问题,使用多种方法实现数据清洗与数据修复。数据清洗方面,重点关注单栋建筑能耗数据中存在的相似重复记录及异常记录。其中,识别异常记录采用3σ准则、DBSCAN聚类算法及箱线图内限3种方法。数据修复方面,重点关注缺失值的填补及基于模型的数据修正。其中,缺失值的填充使用简单填充、线性回归模型和基于用户的协同过滤推荐算法,并以平均绝对误差为评估指标进行对比。基于多元线性回归、主成分回归、偏最小二乘回归、岭回归及Lasso回归5种模型,拟合建筑运行能耗与各解释变量间的关系,对上海市建筑运行能耗相关数据进行数据修复。结果显示,单栋建筑能耗数据适合采用箱线图内限来识别异常记录,并使用中位数填补缺失数据;上海市建筑运行能耗相关数据中,岭回归模型的拟合情况最好。 展开更多
关键词 四节一环保 数据清洗 数据修复 DBSCAN聚类算法 基于用户的协同过滤推荐算法 岭回归
下载PDF
基于RBF神经网络的曲面数据修补研究 被引量:3
11
作者 杨科 廖俊必 《机械》 2007年第1期11-13,23,共4页
径向基函数(RBF)神经网络具有良好的泛函逼近能力,主要探讨了将RBF神经网络应用于残缺曲面数据修补问题,通过建立适于数据修补的网络模型与采用levenberg-marquardt算法的改进型BP神经网络进行性能比较。结果表明:RBF在进行残缺数据修... 径向基函数(RBF)神经网络具有良好的泛函逼近能力,主要探讨了将RBF神经网络应用于残缺曲面数据修补问题,通过建立适于数据修补的网络模型与采用levenberg-marquardt算法的改进型BP神经网络进行性能比较。结果表明:RBF在进行残缺数据修补时网络收敛速度快于BP神经网络,且修补精度高,适宜于曲面残缺数据的修补。 展开更多
关键词 RBF神经网络 数据修补 逆向工程
下载PDF
基于双向检验的异常数据剔除与修复方法 被引量:3
12
作者 姜大治 韩先平 《电光与控制》 北大核心 2013年第6期70-74,共5页
针对靶场复杂的试验环境及测量数据的特点,深入分析了异常数据产生的原因,提出了一种利用多项式拟合对测量结果数据进行双向检验,剔除异常数据的方法,并在检验结果满足修复条件时,对剔除数据进行加权修复。实际数据测试表明:本方法能够... 针对靶场复杂的试验环境及测量数据的特点,深入分析了异常数据产生的原因,提出了一种利用多项式拟合对测量结果数据进行双向检验,剔除异常数据的方法,并在检验结果满足修复条件时,对剔除数据进行加权修复。实际数据测试表明:本方法能够有效克服数据突变和段落性阶跃等干扰因素的影响,具有较好的模型稳定性和较高的异常数据剔除率,满足试验任务实际需求,具有较高的工程应用价值。 展开更多
关键词 数据预处理 异常数据剔除 数据修复
下载PDF
基于Web信息的关系型信息错误自动检测与修复技术研究综述 被引量:3
13
作者 刘海龙 李战怀 +1 位作者 陈群 陈肇强 《计算机学报》 EI CSCD 北大核心 2017年第10期2286-2304,共19页
信息质量已经成为诸多应用领域所面临的一个重要问题,自动检测和修复信息系统中的信息错误是改善信息质量的有效手段.利用Web对关系数据库中的信息进行扩展以助于信息错误的自动检测与修复具有对待检测与修复的信息本身依赖少、信息质... 信息质量已经成为诸多应用领域所面临的一个重要问题,自动检测和修复信息系统中的信息错误是改善信息质量的有效手段.利用Web对关系数据库中的信息进行扩展以助于信息错误的自动检测与修复具有对待检测与修复的信息本身依赖少、信息质量规则更灵活、适用性更广以及信息修复相对更准确等优势,可以有效克服现有的基于规则、基于扩展信息和基于人机交互的信息错误检测与修复技术的不足.文中详细分析了基于Web信息的信息错误自动检测与修复技术的优势及所面临的挑战,提出了基于Web信息的信息错误自动检测与修复技术框架.该框架包括:Web信息自动拓展模型、基于Web信息的信息错误自动检测算法、基于Web信息的信息错误自动修复算法和基于Web信息的信息错误自动检测与修复算法的可靠性评估模型.基于上述框架,文中系统总结了基于Web信息的信息错误自动检测技术、信息错误自动修复技术以及信息扩展核心技术三个方面的研究进展,提炼出了基于Web信息的信息错误自动检测与修复技术需要解决的关键科学问题,对未来的研究方向进行了展望并且讨论了初步的研究思路. 展开更多
关键词 关系数据 信息质量 错误检测 数据修复 WEB
下载PDF
面向海量低质手机轨迹数据的重要位置发现 被引量:3
14
作者 章志刚 金澈清 +1 位作者 王晓玲 周傲英 《软件学报》 EI CSCD 北大核心 2016年第7期1700-1714,共15页
重要位置是指人们在日常生活中的主要活动地点,比如居住地和工作地.智能手机的不断发展与普及为人们的日常生活带来了极大的便利.除了通话、上网等传统应用之外,手机连接基站自动生成的日志记录也是用于用户行为模式挖掘的重要数据来源... 重要位置是指人们在日常生活中的主要活动地点,比如居住地和工作地.智能手机的不断发展与普及为人们的日常生活带来了极大的便利.除了通话、上网等传统应用之外,手机连接基站自动生成的日志记录也是用于用户行为模式挖掘的重要数据来源,例如重要位置发现.然而,相关工作面临着诸多挑战,包括轨迹数据规模庞大、位置精度低以及手机用户的多样性.为此,提出了一个通用解决框架以提高轨迹数据可用性.该框架包含一个基于状态的过滤模块,提高了数据的可用性,以及一个重要位置挖掘模块.基于此框架设计了两种分布式挖掘算法:GPMA(grid-based parallel mining algorithm)和SPMA(station-based parallel mining algorithm).进一步地,为提高挖掘结果的准确性和精确度,从3个方面进行优化:(1)使用多元数据的融合技术,提高结果的准确性;(2)提出了无工作地人群的发现算法;(3)提出了夜间工作人群的发现算法.理论分析和实验结果表明,所提算法具有较高的执行效率和可扩展性,并具有更高的精度. 展开更多
关键词 低质 轨迹挖掘 重要位置 数据修正
下载PDF
基于矩阵运算的最小冗余存储再生码MSRRC研究 被引量:2
15
作者 王禹 赵跃龙 侯昉 《计算机科学》 CSCD 北大核心 2014年第B11期191-194,207,共5页
分布式存储系统常常使用纠删码冗余技术提高数据的安全性和可靠性,从而使系统具有自修复失效数据的能力,但传统纠删码在修复失效节点时需要传输的数据量较大。再生码是纠删码的一种改进形式,它的主要特点是无需下载整个数据文件就能恢... 分布式存储系统常常使用纠删码冗余技术提高数据的安全性和可靠性,从而使系统具有自修复失效数据的能力,但传统纠删码在修复失效节点时需要传输的数据量较大。再生码是纠删码的一种改进形式,它的主要特点是无需下载整个数据文件就能恢复单个节点数据,从而有效减少了数据修复时的网络带宽。相关文献证明数据修复时存在最小存储再生点(MSR),由此提出最小冗余存储再生码MSRRC。本研究主要采用数据矩阵和修复矩阵实现MSRRC再生码,通过实例详细给出再生码的实现过程,并理论证明其正确性,最后仿真实验验证了MSRRC的有效性。 展开更多
关键词 分布式系统 再生码 数据修复
下载PDF
基于密度和半监督学习的数据修复与聚类 被引量:1
16
作者 张倩倩 李国和 郑艺峰 《计算机工程与设计》 北大核心 2020年第3期676-681,共6页
针对现有数据修复算法需要数据集的完整性依赖等函数、不适用于简单数据集、不能充分利用背景知识等问题,提出一种基于密度和半监督学习的修复和聚类算法。遵循数据修复的最小改变原则,利用样本集自身的密度信息和背景知识形成临时聚类... 针对现有数据修复算法需要数据集的完整性依赖等函数、不适用于简单数据集、不能充分利用背景知识等问题,提出一种基于密度和半监督学习的修复和聚类算法。遵循数据修复的最小改变原则,利用样本集自身的密度信息和背景知识形成临时聚类簇;利用成对约束将临时聚类簇进行分割或者合并,形成最终聚类簇,在聚类的同时完成不精确数据的修复。实验结果表明,该算法适用于具有简单模式的样本集,是对现有基于完整性约束数据修复算法的扩展,提高了数据修复正确率和聚类精度。 展开更多
关键词 数据质量 数据清理 数据修复 成对约束 密度聚类
下载PDF
一种改善导航雷达恒虚警检测效果的算法 被引量:1
17
作者 孙鹏飞 黄勇 +1 位作者 包中华 关键 《雷达科学与技术》 2013年第5期451-454,461,共5页
传统的恒虚警检测器在进行目标检测时,容易受到其他目标和强海杂波的干扰,造成自遮蔽效应,使得大目标和大块地物(陆地、岛屿)回波出现"挖空"现象。通过自适应调整参考单元与保护单元的设置以适应不同的检测环境,在理论上可以... 传统的恒虚警检测器在进行目标检测时,容易受到其他目标和强海杂波的干扰,造成自遮蔽效应,使得大目标和大块地物(陆地、岛屿)回波出现"挖空"现象。通过自适应调整参考单元与保护单元的设置以适应不同的检测环境,在理论上可以有效克服"挖空"现象,但是这种自适应技术在实际雷达中很难应用。针对这种"挖空"现象,以某型导航雷达为例,利用陆地(或岛屿)杂波和大目标在幅度上与海杂波回波的差异对一定范围内的数据进行修复,最后基于导航雷达的实测数据对文中算法进行验证,结果表明,该算法明显改善了导航雷达的回波显示质量,有利于目标的凝聚与跟踪,且运算量适中,便于工程实现。 展开更多
关键词 导航雷达 恒虚警 自遮蔽 数据修复
下载PDF
渗流监测时间序列缺失数据修复处理方法初步探讨 被引量:1
18
作者 任志明 卜雷 《吉林水利》 2021年第2期1-4,共4页
水利工程条件复杂致使渗流监测数据缺失现象普遍存在。针对渗压水位时间序列缺失数据修复问题,应用邻近测点渗压水位完整的监测数据取代环境因子监测数据,依据皮尔逊相关系数理论与曲线拟合方法,构建了测压管渗压水位统计分析模型,探讨... 水利工程条件复杂致使渗流监测数据缺失现象普遍存在。针对渗压水位时间序列缺失数据修复问题,应用邻近测点渗压水位完整的监测数据取代环境因子监测数据,依据皮尔逊相关系数理论与曲线拟合方法,构建了测压管渗压水位统计分析模型,探讨了相应的时间序列缺失数据修复方法。研究表明:当测压管渗压水位与库水位、邻近测点渗压水位近似呈线性关系时,应用邻近测点渗压水位数据可代替统计分析模型对缺失数据进行修复,修复拟合数据与实测数据误差较小,达到测压管渗压水位时间序列缺失数据修复的目的。 展开更多
关键词 渗流监测 数据修复 统计模型 麦夸特方法
下载PDF
针对字典序依赖的分布式数据修复
19
作者 郭乃网 覃晟 +1 位作者 谈子敬 曹满亮 《计算机应用与软件》 北大核心 2023年第9期37-42,108,共7页
字典序次序依赖用于表达数据上属性列间的次序关系。现实数据往往具有很大的规模而且包含错误。研究针对字典序次序依赖的分布式数据修复技术,目标是将数据修改为满足给定次序依赖定义的形式。基于Spark平台,设计和实现分布式修复算法,... 字典序次序依赖用于表达数据上属性列间的次序关系。现实数据往往具有很大的规模而且包含错误。研究针对字典序次序依赖的分布式数据修复技术,目标是将数据修改为满足给定次序依赖定义的形式。基于Spark平台,设计和实现分布式修复算法,同时通过实验验证该方法的有效性和运行效率。 展开更多
关键词 数据修复 字典序次序依赖 分布式计算
下载PDF
基于Freeform的逆向工程数据修复
20
作者 梁仕权 成思源 +2 位作者 张湘伟 吴艳奇 黄曼慧 《工具技术》 2009年第11期84-87,共4页
介绍了基于力反馈技术的Freeform触觉式设计系统在逆向工程测量数据修复方面强大的功能。利用非接触式光栅扫描仪测量飞机模型的表面数据点云,通过Freeform的分割黏土、膨胀、镜像、平滑等功能,成功地恢复了飞机模型完整的表面数据。
关键词 逆向工程 Freeform 触觉式设计 数据修复
下载PDF
上一页 1 2 4 下一页 到第
使用帮助 返回顶部