期刊文献+
共找到214篇文章
< 1 2 11 >
每页显示 20 50 100
基于数据挖掘技术的入侵检测系统设计与实现 被引量:28
1
作者 徐菁 刘宝旭 许榕生 《计算机工程》 CAS CSCD 北大核心 2002年第6期9-10,169,共3页
提出了一种基于数据挖掘技术建立入侵检测系统的方法,讨论了该系统实现中的关键技术及其解决方法,包括:数据挖掘算法技术、特征选择技术、入侵检测模型构造技术及数据预处理技术等,从一个针对网络的TCPDump数据进行的基于数据挖掘的入... 提出了一种基于数据挖掘技术建立入侵检测系统的方法,讨论了该系统实现中的关键技术及其解决方法,包括:数据挖掘算法技术、特征选择技术、入侵检测模型构造技术及数据预处理技术等,从一个针对网络的TCPDump数据进行的基于数据挖掘的入侵检测实验中评估了用这种方法的有效性并总结了今后的研究方向。 展开更多
关键词 数据挖掘 入侵检测系统 设计 数据预处理 计算机网络 网络安全
下载PDF
SVM训练数据归一化研究 被引量:58
2
作者 汤荣志 段会川 孙海涛 《山东师范大学学报(自然科学版)》 CAS 2016年第4期60-65,共6页
数据归一化是训练支持向量机(SVM)必须的数据预处理过程.常用的归一化方法有[-1,+1]、N(0,1)等方法,但现有文献尚未发现关于这些常用归一化方法科学依据方面的研究.本文以经验性的实验对数据归一化的理由、归一化与不归一化... 数据归一化是训练支持向量机(SVM)必须的数据预处理过程.常用的归一化方法有[-1,+1]、N(0,1)等方法,但现有文献尚未发现关于这些常用归一化方法科学依据方面的研究.本文以经验性的实验对数据归一化的理由、归一化与不归一化对训练效率和模型预测能力影响等方面开展研究.论文选择标准数据集,对原始未归一化、不同方法归一化、人工逆归一化、任选数据属性列等情况下的数据分别进行了SVM训练,并记录目标函数值随迭代次数的变化、训练时间、模型测试及k-CV性能等信息.实验结果表明,将数据值限制在常规范围内的归一化方法,如[-0.5,+0.5]-[-5,+5]、N(0,1)-N(0,5)等均能在训练时间最短的情况下获得最佳的预测模型.本文工作为SVM以及一般机器学习算法的数据归一化提供了科学依据. 展开更多
关键词 支持向量机 数据归一化 数据预处理 交叉验证
下载PDF
支持向量机在短期负荷预测中的应用概况 被引量:53
3
作者 王奔 冷北雪 +2 位作者 张喜海 单翀皞 从振 《电力系统及其自动化学报》 CSCD 北大核心 2011年第4期115-121,共7页
全面总结了支持向量机(SVM)在短期负荷预测中的应用概况,并从SVM的原理出发,对比人工神经网络方法,从本质上阐述了SVM方法在短期负荷预测中应用的优越性。同时针对SVM在应用中存在的问题,包括数据预处理、核函数构造及选取和参数优化的... 全面总结了支持向量机(SVM)在短期负荷预测中的应用概况,并从SVM的原理出发,对比人工神经网络方法,从本质上阐述了SVM方法在短期负荷预测中应用的优越性。同时针对SVM在应用中存在的问题,包括数据预处理、核函数构造及选取和参数优化的方法,做出分析,并归纳了现行的解决方法。从SVM算法用于负荷预测的机理及提高预测精度和速度的角度,对于一系列SVM的改进方法,全面地进行了归纳,并提出需进一步探讨的关键问题。最后对基于SVM的短期负荷预测所需注意的关键问题做出总结,并提出建议。 展开更多
关键词 支持向量机 人工神经网络 短期负荷预测 数据预处理 核函数 参数优化 混合预测方法
下载PDF
母线负荷预测中样本数据预处理的新方法 被引量:39
4
作者 李光珍 刘文颖 +1 位作者 云会周 高玉华 《电网技术》 EI CSCD 北大核心 2010年第2期149-154,共6页
选择SCADA量测数据作为原始数据源,针对目前母线负荷数据中3类典型的异常数据,提出了一种样本数据预处理方法。采用改进的数据横向比较法识别并修正数据丢失点和由突发事件等原因引起的异常突变点,随后采用db4小波阀值去噪法处理由信道... 选择SCADA量测数据作为原始数据源,针对目前母线负荷数据中3类典型的异常数据,提出了一种样本数据预处理方法。采用改进的数据横向比较法识别并修正数据丢失点和由突发事件等原因引起的异常突变点,随后采用db4小波阀值去噪法处理由信道噪声等原因引起的数据波动,使负荷曲线平滑化。该方法能够有效识别连续数据丢失点和异常突变点,在保持原有负荷曲线变化趋势的基础上剔除异常波动数据,实现平滑处理,为下一步直接进行母线负荷预测提供高质量的样本数据,在一定程度上提高最终的预测精度。 展开更多
关键词 母线负荷预测 异常数据 数据预处理 数据横向比较法 小波阀值去噪法
下载PDF
Web使用挖掘中的一种改进的会话识别方法 被引量:27
5
作者 殷贤亮 张为 《华中科技大学学报(自然科学版)》 EI CAS CSCD 北大核心 2006年第7期33-35,共3页
针对Web日志挖掘中的会话识别问题,提出了一种改进的基于时间间隔的识别方法.该方法通过使用访问时间间隔超出某个阈值来识别会话.统计结果表明页面的访问时间呈正态分布,改进的方法在此基础之上为页面设置访问时间阈值,并根据页面内容... 针对Web日志挖掘中的会话识别问题,提出了一种改进的基于时间间隔的识别方法.该方法通过使用访问时间间隔超出某个阈值来识别会话.统计结果表明页面的访问时间呈正态分布,改进的方法在此基础之上为页面设置访问时间阈值,并根据页面内容及站点结构确定的页面重要程度对该阈值进行调整.实验结果表明,相对于传统的对所有用户页面使用单一的先验阈值进行会话识别的方法,该方法能更准确地确定页面访问时间阈值,更为合理有效. 展开更多
关键词 WEB挖掘 会话 预处理 阈值
下载PDF
Estimation of As and Cu Contamination in Agricultural Soils Around a Mining Area by Reflectance Spectroscopy:A Case Study 被引量:32
6
作者 REN Hong-Yan ZHUANG Da-Fang +3 位作者 A. N. SINGH PAN Jian-Jun QIU Dong-Sheng SHI Run-He 《Pedosphere》 SCIE CAS CSCD 2009年第6期719-726,共8页
Concentrations of Iron (Fe), As, and Cu in soil samples from the fields near the Baoshan Mine in Hunan Province, China, were analyzed and soil spectral reflectance was measured with an ASD FieldSpec FR spectroradiomet... Concentrations of Iron (Fe), As, and Cu in soil samples from the fields near the Baoshan Mine in Hunan Province, China, were analyzed and soil spectral reflectance was measured with an ASD FieldSpec FR spectroradiometer (Analytical Spectral Devices, Inc., USA) under laboratory condition. Partial least square regression (PLSR) models were constructed for predicting soil metal concentrations. The data pre-processing methods, first and second derivatives (FD and SD), baseline correction (BC), standard normal variate (SNV), multiplicative scatter correction (MSC), and continuum removal (CR), were used for the spectral reflectance data pretreatments. Then, the prediction results were evaluated by relative root mean square error (RRMSE) and coefficients of determination (R 2 ). According to the criteria of minimal RRMSE and maximal R 2 , the PLSR models with the FD pretreatment (RRMSE = 0.24, R 2 = 0.61), SNV pretreatment (RRMSE = 0.08, R 2 = 0.78), and BC-pretreatment (RRMSE = 0.20, R 2 = 0.41) were considered as the final models for predicting As, Fe, and Cu, respectively. Wavebands at around 460, 1 400, 1 900, and 2 200 nm were selected as important spectral variables to construct final models. In conclusion, concentrations of heavy metals in contaminated soils could be indirectly assessed by soil spectra according to the correlation between the spectrally featureless components and Fe; therefore, spectral reflectance would be an alternative tool for monitoring soil heavy metals contamination. 展开更多
关键词 data pre-processing heavy metal regression models soil iron spectral reflectance
下载PDF
基于多小波的电力系统故障暂态数据压缩研究 被引量:8
7
作者 刘志刚 钱清泉 《中国电机工程学报》 EI CSCD 北大核心 2003年第10期22-26,共5页
在介绍多小波MALLAT算法的基础上,与传统小波进行了比较。通过对传统小波与多小波能量压缩率的研究,详细比较了基于不同预处理方法的多小波与传统小波的能量压缩率。利用两种数据压缩方法,通过大量的仿真工作,对不同预处理方法的多小波... 在介绍多小波MALLAT算法的基础上,与传统小波进行了比较。通过对传统小波与多小波能量压缩率的研究,详细比较了基于不同预处理方法的多小波与传统小波的能量压缩率。利用两种数据压缩方法,通过大量的仿真工作,对不同预处理方法的多小波与小波的压缩效果进行了深入讨论比较,结果表明:预处理方法的选择是影响多小波压缩效果的关键因素,若选择合适的预处理方法,利用多小波对电力系统故障暂态数据进行压缩,可以获得比传统小波更好的压缩效果。 展开更多
关键词 电力系统 故障录波 小波 暂态数据 数据压缩
下载PDF
面向中医辨证规范的交互式数据挖掘框架 被引量:23
8
作者 王波 张斌 +4 位作者 魏伟杰 马玉慧 梁茂新 王雪峰 董丹 《世界科学技术-中医药现代化》 2006年第1期24-30,共7页
传统的中医辨证规范采用经验式的逻辑分析方法和数理统计方法,数学模型都是预先选定的,不是由具体病证的内在规律决定,因而规范结果的客观真实性受到一定的质疑。本文在“十五攻关”项目的基础上,设计了基于小儿肺炎中医辨证的交互式数... 传统的中医辨证规范采用经验式的逻辑分析方法和数理统计方法,数学模型都是预先选定的,不是由具体病证的内在规律决定,因而规范结果的客观真实性受到一定的质疑。本文在“十五攻关”项目的基础上,设计了基于小儿肺炎中医辨证的交互式数据挖掘框架,采用三层模型,在挖掘信息的同时,通过人机交互,推动了数据挖掘技术和传统中医现代化的结合。 展开更多
关键词 辨证规范 数据挖掘 数据预处理 挖掘算法 技术平台
下载PDF
软件工程数据挖掘研究进展 被引量:24
9
作者 郁抒思 周水庚 关佶红 《计算机科学与探索》 CSCD 2012年第1期1-31,共31页
随着计算机软件的规模不断扩大,手工获取、开发和维护软件所需的信息越来越困难。数据挖掘技术可从软件工程数据中自动发现所需信息,加快软件开发进程。对软件工程数据挖掘的研究进展进行了综述。概述了软件工程数据挖掘的基本概念与技... 随着计算机软件的规模不断扩大,手工获取、开发和维护软件所需的信息越来越困难。数据挖掘技术可从软件工程数据中自动发现所需信息,加快软件开发进程。对软件工程数据挖掘的研究进展进行了综述。概述了软件工程数据挖掘的基本概念与技术挑战;详细评述了在软件工程各个阶段,数据挖掘技术所能发现的信息/知识,以及获取这些信息/知识的意义、难点、步骤和方法,重点介绍了数据预处理和数据表示方法;对软件工程数据挖掘研究的发展趋势进行了展望。 展开更多
关键词 软件工程 数据挖掘 数据表示 数据预处理 机器学习
下载PDF
运用TEQC软件对GPS数据的预处理与质量评定 被引量:24
10
作者 古伟洪 田鹏波 王振辉 《地理空间信息》 2008年第6期37-39,共3页
介绍了TEQC对GPS原始观测数据进行格式转换、数据编辑和质量检查的基本方法。并结合实例探讨了TEQC对数据质量评定的分析思路。
关键词 GPS TEQC 数据预处理 格式转换 质量检查
下载PDF
基于EWT-LOF的热工过程数据异常值检测方法 被引量:24
11
作者 董泽 贾昊 《仪器仪表学报》 EI CAS CSCD 北大核心 2020年第2期126-134,共9页
异常数据检测是热工过程数据处理的重要组成部分,也是进行系统建模、优化、控制的基础。针对热工过程频繁变工况导致异常数据检测困难的情况,提出一种将信号分解方法与基于密度的检测方法相结合的热工过程异常值检测方法。首先利用经验... 异常数据检测是热工过程数据处理的重要组成部分,也是进行系统建模、优化、控制的基础。针对热工过程频繁变工况导致异常数据检测困难的情况,提出一种将信号分解方法与基于密度的检测方法相结合的热工过程异常值检测方法。首先利用经验小波变换方法提取热工过程时间序列的运行趋势,去除序列运行趋势后采用局部离群因子方法对各数据点求取其局部异常值,最后使用箱型图的方法确定序列异常点。通过使用某电厂1 000 MW机组的负荷数据作为实验数据,分别设置0.5%、1%、2%、5%、10%5种误差验证方法的有效性。实验结果表明,所提异常检测方法除对动态过程和稳态过程均具有适用性外,在以上5种误差条件下均取得了较高的检测准确率。 展开更多
关键词 异常数据检测 经验小波变换 局部离群因子 数据预处理 热工过程
下载PDF
风电场SCADA数据预处理方法及评价策略 被引量:23
12
作者 戴巨川 曹俊伟 +2 位作者 张帆 刘德顺 沈祥兵 《太阳能学报》 EI CAS CSCD 北大核心 2017年第9期2597-2604,共8页
为了从SCADA数据中获得更明确的物理信息,更好地判断风电机组运行状态,分别将常规平均数法、最小二乘法和该文提出的非参数法(核密度-均值法)用于风电场SCADA数据预处理。建立风电场SCADA数据预处理算法的3个评价指标,包括物理特性一致... 为了从SCADA数据中获得更明确的物理信息,更好地判断风电机组运行状态,分别将常规平均数法、最小二乘法和该文提出的非参数法(核密度-均值法)用于风电场SCADA数据预处理。建立风电场SCADA数据预处理算法的3个评价指标,包括物理特性一致性、采样时间变化稳健性及采样频率变化稳健性。设计评价指标定量计算公式,用以评价各种预处理算法效果,计算结果表明非参数法(核密度-均值法)能够获得更好的预处理效果。最后,基于核密度-均值法对全工况风电机组SCADA数据进行预处理,分析风电机组运行特性,包括风速与输出功率、轮毂转速的关系以及风能利用系数。 展开更多
关键词 风电机组 SCADA数据 数据预处理 评价指标
下载PDF
浅谈珠海市基础空间数据检查与建库预处理 被引量:19
13
作者 丁建勋 程效军 +1 位作者 石如文 任保刚 《地理空间信息》 2005年第2期30-32,35,共4页
分析了珠海市基础空间数据的质量现状,并从G IS建库角度出发分析了基础空间数据入库前应做的质量检查和预处理的内容,并在此基础上,提出了一些建议。
关键词 预处理 珠海市 数据检查 建库 基础空间数据 质量现状 质量检查 数据入库 GIS
下载PDF
电力负荷数据预处理的二维小波阈值去噪方法 被引量:22
14
作者 童述林 文福拴 陈亮 《电力系统自动化》 EI CSCD 北大核心 2012年第2期101-105,共5页
历史负荷数据中的噪声会影响以其为基础所进行的负荷预测的准确性,有必要对负荷数据进行去噪处理。考虑到负荷数据的横向连续性和纵向连续性,可以先把负荷数据按照日期排列成二维数据集,经归一化处理后形成灰度图像矩阵,然后用基于图像... 历史负荷数据中的噪声会影响以其为基础所进行的负荷预测的准确性,有必要对负荷数据进行去噪处理。考虑到负荷数据的横向连续性和纵向连续性,可以先把负荷数据按照日期排列成二维数据集,经归一化处理后形成灰度图像矩阵,然后用基于图像的二维小波阈值去噪方法进行去噪处理,最后通过反归一化得到去噪后的负荷数据。实例分析结果表明这种方法可行且有效。 展开更多
关键词 电力负荷 数据预处理 二维小波 阈值去噪
下载PDF
化学计量学在激光诱导击穿光谱分析中的研究进展 被引量:21
15
作者 张天龙 吴珊 +3 位作者 汤宏胜 王康 段忆翔 李华 《分析化学》 SCIE EI CAS CSCD 北大核心 2015年第6期939-948,共10页
激光诱导击穿光谱作为一种新兴的元素分析技术,具有实时在线、非接触、多元素同时检测等优点,是光谱分析领域内的一种前沿性分析手段。然而,如何从复杂大量的激光诱导击穿光谱数据提取有用信息,提高其定性、定量分析准确度是激光诱导击... 激光诱导击穿光谱作为一种新兴的元素分析技术,具有实时在线、非接触、多元素同时检测等优点,是光谱分析领域内的一种前沿性分析手段。然而,如何从复杂大量的激光诱导击穿光谱数据提取有用信息,提高其定性、定量分析准确度是激光诱导击穿光谱技术目前面临的难题。化学计量学作为多学科交叉的化学分支学科,在数据处理、信号解析和模式识别等方面具有优势,能够解决传统化学研究方法难以解决的一些复杂问题。本文从光谱数据预处理、定性和定量分析三方面综述了近年来化学计量学方法在激光诱导击穿光谱中的研究进展。 展开更多
关键词 激光诱导击穿光谱 化学计量学 数据预处理 定性分析 定量分析 评述
下载PDF
基于短期风功率预测的数据预处理算法研究 被引量:17
16
作者 许梦田 王洪哲 +1 位作者 赵成萍 严华 《可再生能源》 CAS 北大核心 2019年第1期119-125,共7页
针对实测风速和功率数据中包含奇异点以及同一风速下风功率存在较大范围波动的问题,文章提出一种数据预处理算法。首先,采用拉依达准则剔除风速和功率奇异点;再使用优化的一次指数平滑法及最大皮尔逊相关系数对风速进行平滑处理;最后,... 针对实测风速和功率数据中包含奇异点以及同一风速下风功率存在较大范围波动的问题,文章提出一种数据预处理算法。首先,采用拉依达准则剔除风速和功率奇异点;再使用优化的一次指数平滑法及最大皮尔逊相关系数对风速进行平滑处理;最后,利用新疆阿勒泰地区某风电场单台风机的实测数据进行验证分析。以文章提出的预处理方法得到的风速作为BP神经网络预测模型的输入,风功率的预测准确度显著高于已有预处理方法得到的结果。 展开更多
关键词 数据预处理 拉依达准则 一次指数平滑 皮尔逊相关系数 风功率预测
下载PDF
电子病历数据预处理技术 被引量:13
17
作者 庄军 郭平 +2 位作者 周杨 白桂花 王月毅 《计算机科学》 CSCD 北大核心 2007年第3期141-144,共4页
多年积累的电子病历是一项重要的不可再生资源,对其数据的有效处理、利用是一项非常必要和有意义的工作。本文研究了电子病历数据前期处理的相关技术,涉及从电子文档资料到基础数据库的转换,对存入数据库的数据实施数据清理和数据变换... 多年积累的电子病历是一项重要的不可再生资源,对其数据的有效处理、利用是一项非常必要和有意义的工作。本文研究了电子病历数据前期处理的相关技术,涉及从电子文档资料到基础数据库的转换,对存入数据库的数据实施数据清理和数据变换等。通过数据预处理可以消除数据中的噪声、不完整和不一致性,实现数据的规范化和有效压缩,从而形成高质量的数据,可使数据的再处理(统计、数学建模、数据挖掘等)更加有效。 展开更多
关键词 电子病历 数据预处理 数据清理 数据规约
下载PDF
中医师个体化辨证论治失眠诊疗数据预处理方法研究 被引量:14
18
作者 李新龙 刘岩 +6 位作者 王宁 侯爱娟 王世华 周雪忠 张润顺 刘保延 何丽云 《中国中医药信息杂志》 CAS CSCD 2017年第12期92-96,共5页
目的基于辨证论治失眠诊疗前瞻性研究,探索适合中医临床诊疗数据的预处理方法。方法运用中医临床科研信息共享系统,采用人机结合方式,通过数据清洗、规则编订、医师审核、规则修订、程序化导入与批量化处理等步骤,对8名中医师前瞻性失... 目的基于辨证论治失眠诊疗前瞻性研究,探索适合中医临床诊疗数据的预处理方法。方法运用中医临床科研信息共享系统,采用人机结合方式,通过数据清洗、规则编订、医师审核、规则修订、程序化导入与批量化处理等步骤,对8名中医师前瞻性失眠诊疗数据库进行数据预处理。结果制订中医师个体化辨证论治失眠症状类规则27 534条、诊断类规则1036条、治法类规则841条、处方名称规则540条、中药名称规则885条。结论预处理后各类术语概念得到不同程度的规范,同时保留了医师个体化辨证论治的特点,可用于中医辨证论治临床诊疗数据个体化与标准化研究,为数据挖掘提供支持。 展开更多
关键词 预处理 数据挖掘 中医临床科研信息共享系统 辨证论治 失眠
下载PDF
数据预处理技术在地学大数据中应用 被引量:13
19
作者 王成彬 马小刚 陈建国 《岩石学报》 SCIE EI CAS CSCD 北大核心 2018年第2期303-313,共11页
大数据时代随着数据的爆发式增长,在带来可供研究的海量数据的同时,也带来巨量的噪声和冗余数据。在地学领域,由于研究方向和技术方法手段的多样化,产生了数据量巨大和类型众多的地学数据集合。在地学信息的研究过程中,经常碰到地学信... 大数据时代随着数据的爆发式增长,在带来可供研究的海量数据的同时,也带来巨量的噪声和冗余数据。在地学领域,由于研究方向和技术方法手段的多样化,产生了数据量巨大和类型众多的地学数据集合。在地学信息的研究过程中,经常碰到地学信息孤岛,分图幅地学数据边界系统误差和地学文档的非结构化问题。在对地学数据进行信息的提取和挖掘之前,必须根据研究目的对地学大数据进行预处理,使冗余、复杂的大数据转为结构化、准确、可用的数据。本文以地学大数据的预处理技术为切入点,从地学数据交互标准与语义、数据调平、地质图接边和文本结构化等四个研究方面,分析阐述目前地学大数据挖掘方面存在的问题及主要的解决手段,同时也对多元数据融合在大数据中的应用进行了阐述。希望通过本文对地学大数据预处理技术的探讨,能对地学大数据的挖掘有所帮助。 展开更多
关键词 地学大数据 数据预处理 数据调平 地图接边 文本数据结构化
下载PDF
基于同态加密的DBSCAN聚类隐私保护方案 被引量:13
20
作者 贾春福 李瑞琪 王雅飞 《通信学报》 EI CSCD 北大核心 2021年第2期1-11,共11页
为了降低数据外包聚类运算过程中存在的隐私泄露风险,提出了一个基于同态加密的DBSCAN聚类隐私保护方案。为了加密实际场景中的浮点型数据,给出了针对不同数据精度的3种数据预处理方式,并提出了一种基于数据特点且综合考虑数据精度和计... 为了降低数据外包聚类运算过程中存在的隐私泄露风险,提出了一个基于同态加密的DBSCAN聚类隐私保护方案。为了加密实际场景中的浮点型数据,给出了针对不同数据精度的3种数据预处理方式,并提出了一种基于数据特点且综合考虑数据精度和计算开销等方面的数据预处理方式的选择策略。由于同态加密不支持密文比较运算,设计了一个用户端与云服务器之间的协议实现密文比较功能。理论分析和实验结果表明,所提方案能够保证数据隐私安全,并且具有较高的聚类准确率和较低的时间开销。 展开更多
关键词 隐私保护 密度聚类 同态加密 数据预处理 密文比较
下载PDF
上一页 1 2 11 下一页 到第
使用帮助 返回顶部