期刊文献+
共找到171篇文章
< 1 2 9 >
每页显示 20 50 100
重复数据删除技术 被引量:119
1
作者 敖莉 舒继武 李明强 《软件学报》 EI CSCD 北大核心 2010年第5期916-929,共14页
重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这两方面的问题提出的各种技术.通过对... 重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a)重复数据删除中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研究;b)从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面. 展开更多
关键词 网络存储系统 重复数据 数据删除 可靠性 性能
下载PDF
结构化数据清洗技术综述 被引量:72
2
作者 郝爽 李国良 +1 位作者 冯建华 王宁 《清华大学学报(自然科学版)》 EI CAS CSCD 北大核心 2018年第12期1037-1050,共14页
数据清洗是对脏数据进行检测和纠正的过程,是进行数据分析和管理的基础。该文对经典和新兴的数据清洗技术进行分类和总结,为进一步的研究工作提供方向。形式化定义了数据清洗问题,对数据缺失、数据冗余、数据冲突和数据错误这4种数据噪... 数据清洗是对脏数据进行检测和纠正的过程,是进行数据分析和管理的基础。该文对经典和新兴的数据清洗技术进行分类和总结,为进一步的研究工作提供方向。形式化定义了数据清洗问题,对数据缺失、数据冗余、数据冲突和数据错误这4种数据噪声的检测技术进行详细阐述。按照数据清洗方式对数据噪声的消除技术进行分类概述,包括基于完整性约束的数据清洗算法、基于规则的数据清洗算法、基于统计的数据清洗算法和人机结合的数据清洗算法。介绍了常用的测评数据集和噪声注入工具,并对未来重点的研究方向进行了探讨和展望。 展开更多
关键词 数据清洗 数据噪声 噪声检测 噪声消除
原文传递
数据清理综述 被引量:29
3
作者 杨辅祥 刘云超 段智华 《计算机应用研究》 CSCD 北大核心 2002年第3期3-5,共3页
由于各种原因 ,数据中存在这样或那样的脏数据需要清理 (净化 )。特别是数据仓库、KDD及TDQM(综合数据质量管理 )中 ,必须对数据进行清理。介绍了数据清理的有关内容、技术与实现方案 ,着重介绍了目前的两个重点研究、应用内容
关键词 数据清理 数据质量 数据仓库 数据库
下载PDF
基于激光雷达的果园树干检测 被引量:13
4
作者 张莹莹 周俊 《中国农业大学学报》 CAS CSCD 北大核心 2015年第5期249-255,共7页
为探索激光雷达在农业机器人环境理解和导航中的应用,研究一种基于改进DBSCAN算法的果园树干检测算法。该算法使用自适应密度阈值和聚类半径对不同距离处数据点进行聚类和整合,以克服DBSCAN算法对全局变量值敏感的缺点。针对激光雷达可... 为探索激光雷达在农业机器人环境理解和导航中的应用,研究一种基于改进DBSCAN算法的果园树干检测算法。该算法使用自适应密度阈值和聚类半径对不同距离处数据点进行聚类和整合,以克服DBSCAN算法对全局变量值敏感的缺点。针对激光雷达可能扫到地面造成机器人误检的问题,采用机器人航位推算模型计算当前帧数据中待定类的距离,通过与前一帧数据中对应类距离的比较判定待定类的类别,进而对地面干扰类进行排除。试验结果表明:1)机器人正常行走时本算法能够排除噪声准确识别树干类点;2)存在果树分枝或地面干扰时,有少量漏检,平均误判果树数目为-0.13棵,能够区分出地面类和果树类。该研究可以应用到农业机器人果园环境理解和导航中。 展开更多
关键词 农业机器人 激光雷达 树干检测 数据聚类 干扰排除
原文传递
基于经验模态分解的大地电磁资料人文噪声处理 被引量:12
5
作者 蔡剑华 汤井田 王先春 《中南大学学报(自然科学版)》 EI CAS CSCD 北大核心 2011年第6期1786-1790,共5页
将经验模态分解(Empirical mode decomposition,EMD)方法应用到大地电磁资料的人文噪声处理中,根据人文噪声的不同来源和特征,提出基于EMD的时空滤波器或硬(软)阈值对噪声进行抑制的方法。给出经验模态分解去噪方法的原理和步骤,并对实... 将经验模态分解(Empirical mode decomposition,EMD)方法应用到大地电磁资料的人文噪声处理中,根据人文噪声的不同来源和特征,提出基于EMD的时空滤波器或硬(软)阈值对噪声进行抑制的方法。给出经验模态分解去噪方法的原理和步骤,并对实测大地电磁信号中常见的脉冲干扰、矩形干扰和周期正弦噪声等人文干扰进行消噪处理。研究结果表明:本文提出的噪声改正方法是有效的,突出了有用信号的信息,改善了受干扰大地电磁数据的质量。 展开更多
关键词 经验模态分解 大地电磁信号 人文噪声 去噪
下载PDF
基于CUBE算法的多波束水深异常值剔除 被引量:12
6
作者 贾帅东 张立华 曹鸿博 《测绘科学》 CSCD 北大核心 2010年第S1期57-59,94,共4页
本文总结分析了CUBE(Combined Uncertainty and Bathymetry Estimator)算法的关键步骤和基本理论模型,实现了基于CUBE算法的多波束水深异常值剔除,并针对中国某海区的多波束实测数据,通过构建海底DTM(Digital Terrian Model)图,对比分析... 本文总结分析了CUBE(Combined Uncertainty and Bathymetry Estimator)算法的关键步骤和基本理论模型,实现了基于CUBE算法的多波束水深异常值剔除,并针对中国某海区的多波束实测数据,通过构建海底DTM(Digital Terrian Model)图,对比分析了CUBE算法与传统的手工作业方法的性能差异。实验证明:与手工作业方法相比,CUBE算法具有工作效率高、不受人为因素影响等优点。 展开更多
关键词 CUBE算法 多波束水深 水深异常值 异常值剔除
原文传递
元数据技术在MDSS实时气象数据库系统建设中的应用 被引量:9
7
作者 高峰 赵芳 《气象科技》 2006年第B09期22-26,共5页
元数据是关于数据的数据,目前被越来越多的应用于系统建设过程中。利用元数据,可以记录整个系统中数据的来龙去脉,这样可以把整个业务的工作流、信息流有效地管理起来,提高系统的可扩展性;此外元数据还具有数据发现和数据搜索的功能,能... 元数据是关于数据的数据,目前被越来越多的应用于系统建设过程中。利用元数据,可以记录整个系统中数据的来龙去脉,这样可以把整个业务的工作流、信息流有效地管理起来,提高系统的可扩展性;此外元数据还具有数据发现和数据搜索的功能,能够提高系统的灵活性。介绍了国家级气象资料存储检索系统(MDSS)中实时气象数据库设计的元数据种类及其存储管理方式,以及元数据技术在实时气象数据库系统建设中的应用,详细描述了如何通过元数据提高软件的灵活性、可维护性。 展开更多
关键词 元数据 实时气象数据库 数据检索 数据清除
下载PDF
考虑内外因素的电子商务产业与大数据产业协同演化研究 被引量:10
8
作者 郭皓月 樊重俊 +3 位作者 李君昌 王来 吴海春 杨云鹏 《运筹与管理》 CSSCI CSCD 北大核心 2019年第3期191-199,共9页
在新经济体系建设中,电子商务产业与大数据产业协同与融合成为必然趋势。在讨论二者协同关系和交叉业务内容的基础上,从系统的角度出发,基于经典哈肯模型构建了电子商务-大数据系统(EBDS)协同演化模型,并讨论了绝热消去方法的应用条件... 在新经济体系建设中,电子商务产业与大数据产业协同与融合成为必然趋势。在讨论二者协同关系和交叉业务内容的基础上,从系统的角度出发,基于经典哈肯模型构建了电子商务-大数据系统(EBDS)协同演化模型,并讨论了绝热消去方法的应用条件。接着,运用熵权法确定两子系统序参量的权重,进而量化了二者的有序度及协同度。通过数值拟合,验证了所构建演化模型的可信度,并发现了EBDS存在两个稳定点,但EBDS仍处于协同程度较低的互助协同阶段,对此从协同应用、产业链、风险、外部环境和生态圈五个方面给出了建议。 展开更多
关键词 协同学 大数据 电子商务 绝热消去
下载PDF
机床主轴回转误差计算机辅助测试 被引量:6
9
作者 李迅波 《电子科技大学学报》 EI CAS CSCD 北大核心 1998年第2期151-155,共5页
应用计算机辅助测试(CAT)技术,以计算机为基础,提出了一种高精度主轴回转误差在线测量方法,并开发了在线测量和数据处理系统。该系统由高精度标准球、涡流传感器、微机和数据处理软件组成。采用数字滤波方法消除一次偏心分量,... 应用计算机辅助测试(CAT)技术,以计算机为基础,提出了一种高精度主轴回转误差在线测量方法,并开发了在线测量和数据处理系统。该系统由高精度标准球、涡流传感器、微机和数据处理软件组成。采用数字滤波方法消除一次偏心分量,在此基础上对数据处理和误差评定进行了探讨,将系统用于车床主轴回转精度的实际测量,取得了良好效果。 展开更多
关键词 计算机辅助测试 主轴回转误差 机床
下载PDF
Application of Wavelet Analysis toInterference Elimination for Geochemical Hydrocarbon Exploration 被引量:7
10
作者 Zhang Liuping Ruan Tianjian Faculty of Earth Resources, China University of Geosciences, Wuhan 430074 《Journal of Earth Science》 SCIE CAS CSCD 2000年第1期91-93,共3页
Interference in the data of geochemical hydrocarbon exploration is a large obstacle for anomaly recognition. The multiresolution analysis of wavelet analysis can extract the information at different scales so as to pr... Interference in the data of geochemical hydrocarbon exploration is a large obstacle for anomaly recognition. The multiresolution analysis of wavelet analysis can extract the information at different scales so as to provide a powerful tool for information analysis and processing. Based on the analysis of the geometric nature of hydrocarbon anomalies and background, Mallat wavelet and symmetric border treatment are selected and data pre-processing (logarithm-normalization) is established. This approach provide good results in Shandong and Inner Mongolia, China. It is demonstrated that this approach overcome the disadvantage of backgound variation in the window (interference in window), used in moving average, frame filtering and spatial and scaling modeling methods. 展开更多
关键词 geochemical exploration petroleum exploration interference elimination wavelet analysis data processing anomaly recognition.
下载PDF
基于四叉树分割的连续LOD漫游地形绘制 被引量:8
11
作者 吴颖 张新家 茹芬 《计算机技术与发展》 2011年第4期5-8,12,共5页
针对大规模地形数据访问量大、场景渲染消耗内存大、实时渲染效率低的问题,提出了一种基于四叉树分割的连续LOD(层次细节)地形绘制方案,实现了多分辨率地形的快速绘制。视见体裁剪算法判断次数少,并结合四叉树分割过程,快速地对地形数... 针对大规模地形数据访问量大、场景渲染消耗内存大、实时渲染效率低的问题,提出了一种基于四叉树分割的连续LOD(层次细节)地形绘制方案,实现了多分辨率地形的快速绘制。视见体裁剪算法判断次数少,并结合四叉树分割过程,快速地对地形数据进行裁剪。采用与视点和地形粗糙度相关的分割评价系统,在预处理阶段对地形粗糙度误差进行计算,提升了地形实时绘制的速度;同时对分割标志位按位存储,使得内存占有率大幅减少。通过分割低分辨率节点边的方式,消除了节点间裂缝。算法运行效果良好,在普通PC机上即可达到较高的帧频率和较好的漫游效果。 展开更多
关键词 连续LOD地形绘制 四叉树分割 数据裁剪 分割标志位 裂缝消除
下载PDF
激光雷达定位信息冗余数据过滤技术研究 被引量:8
12
作者 韦存存 《激光杂志》 北大核心 2019年第3期125-129,共5页
激光雷达的定心精准度严重受到室内定位过程的冗余数据干扰。提出基于分数阶Fourier变换特征压缩的激光雷达室内定位信息的冗余数据过滤技术。对激光雷达信息进行预处理,提取定位信息,进而对采集的室内定位信息进行时间-尺度耦合处理。... 激光雷达的定心精准度严重受到室内定位过程的冗余数据干扰。提出基于分数阶Fourier变换特征压缩的激光雷达室内定位信息的冗余数据过滤技术。对激光雷达信息进行预处理,提取定位信息,进而对采集的室内定位信息进行时间-尺度耦合处理。采用分数阶Fourier变换对激光雷达室内定位信息流进行时频分解,根据分解结果提取定位信息的离散谱特征。采用自相关匹配滤波算法,结合离散谱特征对冗余数据调制分量进行滤波处理,完成对冗余数据的压缩处理,实现激光雷达定位信息冗余数据的过滤。实验结果表明,采用该方法有效滤除激光;雷达定位过程冗余数据,提高激光雷达识别能力,从而提高定位精度和抗干扰性。 展开更多
关键词 激光雷达 室内定位 冗余数据 消除 特征压缩
下载PDF
基于基准站信噪比先验信息的GNSS观测数据多路径误差识别方法及应用 被引量:7
13
作者 刘健 黄观文 +1 位作者 杜源 白正伟 《地球科学与环境学报》 CAS 北大核心 2022年第2期352-362,共11页
在复杂监测环境下,全球卫星导航定位(GNSS)信号极易受环境干扰产生多路径误差,观测数据中包含大量较差的观测值,导致GNSS监测精度降低甚至不可用。考虑到监测网中的基准站通常布设于开阔无遮挡环境,基准站和监测站跟踪的卫星信息相关性... 在复杂监测环境下,全球卫星导航定位(GNSS)信号极易受环境干扰产生多路径误差,观测数据中包含大量较差的观测值,导致GNSS监测精度降低甚至不可用。考虑到监测网中的基准站通常布设于开阔无遮挡环境,基准站和监测站跟踪的卫星信息相关性较强,提出一种基于基准站信噪比先验信息的GNSS观测数据多路径误差识别方法。该方法利用卫星信噪比观测值与多路径误差的强相关性,通过对信噪比观测值作站间差分来识别受多路径影响严重的较差数据,并对其进行剔除处理,以抵御复杂监测环境的多路径影响。以遮挡严重的河南三门峡地区某滑坡监测环境为例,基于实测数据验证表明,提出的新方法能够对受山体、植被、人工设施等多路径影响严重的较差观测值进行有效识别,环境自适应能力更强,显著提升了模糊度固定率及定位精度。提出的新方法模糊度固定率结果相比传统固定截止高度角(TFC)模型平均提高39.6%,相比自适应截止高度角(ADEM)模型平均提高28.6%;固定解定位精度在E、N方向优于4 mm, U方向优于9 mm。 展开更多
关键词 全球卫星导航定位 滑坡监测 载波相位差分技术 多路径效应 基准站 信噪比 复杂环境 数据剔除
下载PDF
基于决策树算法的多级冗余电力大数据清除
14
作者 王敏楠 肖娅晨 +2 位作者 余仰淇 李宗朋 刘化龙 《电子设计工程》 2024年第14期95-99,共5页
由于电力数据体量在短时间内暴增,使得冗余数据占比增多,严重影响了电力数据的处理时间。为此,提出基于决策树算法的多级冗余电力大数据清除方法。通过对多级电力大数据分块处理,采用离散小波变换算法,提取其近似特征。引入决策树算法... 由于电力数据体量在短时间内暴增,使得冗余数据占比增多,严重影响了电力数据的处理时间。为此,提出基于决策树算法的多级冗余电力大数据清除方法。通过对多级电力大数据分块处理,采用离散小波变换算法,提取其近似特征。引入决策树算法计算信息增益率,基于并行计算原理设计多级冗余电力大数据清除流程,从而实现数据清除。实验结果显示:提出方法的检测结果与实际冗余数据量保持一致,冗余数据清除吞吐率最大值为45 bps,充分证实了提出方法冗余数据清除效果更好。 展开更多
关键词 数据处理 多级电力大数据 决策树算法 冗余数据判定 数据清除 去冗技术
下载PDF
自动站与人工站地面最高温度误差分析及消除 被引量:7
15
作者 廖丽光 《气象研究与应用》 2008年第1期85-86,共2页
根据凭祥站2007年10月16~23日自动站与人工站地面最高温度日极值观测数据资料,分析出现误差的原因。结果表明:两者周围地表松紧程度、湿润状况不一致,是造成误差的主要原因。
关键词 数据误差 对比 分析 消除
下载PDF
网络数据传输中冗余信息优化消除仿真 被引量:6
16
作者 李燕梅 《计算机仿真》 北大核心 2018年第1期370-373,440,共5页
对网络数据传输中冗余信息的优化消除,能够有效提高网络数据传输效率。对冗余信息的消除,需要并对冗余信息特征进行归一化处理,设定网络冗余信息分类的阀值,完成网络数据传输中冗余信息的优化消除。传统方法对网络数据进行编码,以此代... 对网络数据传输中冗余信息的优化消除,能够有效提高网络数据传输效率。对冗余信息的消除,需要并对冗余信息特征进行归一化处理,设定网络冗余信息分类的阀值,完成网络数据传输中冗余信息的优化消除。传统方法对网络数据进行编码,以此代替重复传输的数据片段,但忽略了设定网络冗余信息分类的阀值,导致消除效果不理想。提出基于深度学习的网络数据传输中冗余信息消除算法,对网络冗余信息结构进行分析,采用K-L特征压缩理论降低网络冗余信息的维数,得到网络冗余特征空间压缩的目标函数,在网络冗余信息特征空间内对冗余信息进行划分,计算出冗余信息样本权重,并对网络冗余信息特征进行归一化处理,设定网络冗余信息分类的阀值,由此完成网络数据传输中冗余信息消除。仿真证明,所提算法能够大大减少内存消耗,有效提高平均字节节省率,具有较好的鲁棒性。 展开更多
关键词 网络数据 冗余信息 优化消除
下载PDF
基于移动指针的数据流冗余消除算法 被引量:6
17
作者 唐海娜 林小拉 韩春静 《通信学报》 EI CSCD 北大核心 2012年第2期7-14,共8页
针对数据流的动态特性,提出了一种基于移动指针的数据流冗余消除算法—SKIP Bloom filter,其核心思想是通过动态指针和双Bloom filter来区分历史数据映射与当前数据映射,从而有效提升了算法的性能和准确度。理论证明,它具有O(n)的时间... 针对数据流的动态特性,提出了一种基于移动指针的数据流冗余消除算法—SKIP Bloom filter,其核心思想是通过动态指针和双Bloom filter来区分历史数据映射与当前数据映射,从而有效提升了算法的性能和准确度。理论证明,它具有O(n)的时间复杂度与O(1-(1-1/(2 m))w-k)k的假阳性误判率。实验结果表明,算法在实际网络环境中与已有算法相比,准确度提高了2-12倍。 展开更多
关键词 数据流 冗余消除 BLOOM FILTER 散列函数
下载PDF
利用SPSS消除统计数据录入误差的一种方法 被引量:5
18
作者 尹海洁 刘耳 《西安交通大学学报(社会科学版)》 2003年第3期66-71,F003,共7页
 针对社会学研究者常用的两种检查数据录入错误的方法的局限性,建立了一种基于并行录入的高精度的纠正数据录入错误的方法,并设计了几个SPSS程序,可用于检查变量数多、数据量大的数据文件中的录入错误。对经此方法处理后残存误差的概...  针对社会学研究者常用的两种检查数据录入错误的方法的局限性,建立了一种基于并行录入的高精度的纠正数据录入错误的方法,并设计了几个SPSS程序,可用于检查变量数多、数据量大的数据文件中的录入错误。对经此方法处理后残存误差的概率的理论分析表明,此方法能大大提高数据录入的精确性。 展开更多
关键词 SPSS 数据录入 误差消除
下载PDF
三湖地区真假含气地震异常的识别与处理技术 被引量:6
19
作者 王海立 翟俊伟 +2 位作者 宁宏晓 于宝华 赵荣艳 《天然气工业》 EI CAS CSCD 北大核心 2011年第6期39-41,45,共4页
柴达木盆地三湖地区地震剖面上的"低频、同相轴下拉"现象是寻找气藏的有效手段。但是随着勘探的深入,发现地震反射异常现象并不都是由于地层含气引起的,一些特殊的地表条件(表层结构异常)也会造成类似的异常现象,致使一些探... 柴达木盆地三湖地区地震剖面上的"低频、同相轴下拉"现象是寻找气藏的有效手段。但是随着勘探的深入,发现地震反射异常现象并不都是由于地层含气引起的,一些特殊的地表条件(表层结构异常)也会造成类似的异常现象,致使一些探井钻探失利。在近两年的该区高精度二维地震勘探中,通过针对性的表层调查方法和对近地表结构的精细解剖,弄清楚了地震反射异常与表层结构的对应关系,对表层结构引起的地震异常有了较深刻的认识;通过分析总结,提出了用反射时间法来甄别表层异常与地下含气异常;在此基础上,通过高精度折射静校正处理技术消除了这些由于表层结构异常变化带来的地震资料异常。这些技术措施的实施,为三湖地区地震资料真假异常的识别提供了比较实用的方法,在实际的生产应用中见到了较好的效果。 展开更多
关键词 柴达木盆地 三湖地区 表层 地震资料 异常 反射时间 静校正 消除
下载PDF
工程测量中异常数据的剔除 被引量:5
20
作者 李丽容 田琛 《石油仪器》 1998年第5期28-29,52,共2页
在测量数据为正态分布时 ,多用莱特准则剔除异常数据 ,但应注意莱特准则应用的条件是测量次数n需满足n≥ 10 ;在测量数据为均匀分布时 ,在工程测量中 ,剔除异常数据可采用 1 73σ(X)作为判据 ,文章就此作了理论论证。应当指出 ,均匀分... 在测量数据为正态分布时 ,多用莱特准则剔除异常数据 ,但应注意莱特准则应用的条件是测量次数n需满足n≥ 10 ;在测量数据为均匀分布时 ,在工程测量中 ,剔除异常数据可采用 1 73σ(X)作为判据 ,文章就此作了理论论证。应当指出 ,均匀分布是电测仪器仪表测量数据中的一种极为重要的分布 ,文章就此作了深刻的说明。显然 ,讨论工程测量中均匀分布的测量数据中异常数据的剔除 。 展开更多
关键词 数据异常 正态分布 工程测量 电测井 数据处理
下载PDF
上一页 1 2 9 下一页 到第
使用帮助 返回顶部