基于杠杆值大数据集抽样的异常点诊断 被引量：14

1

作者 晏振 戴晓文 田茂再 《数理统计与管理》 CSSCI 北大核心 2016年第5期794-802,共9页

本文主要研究大数据集下利用杠杆值抽样后的异常点诊断问题。首先讨论了数据删除模型中参数估计的统计性质,构造了四种异常点诊断统计量;其次,根据均值漂移模型的漂移参数的假设检验问题,构造了三种检验统计量;最后,通过模拟和实证数据... 本文主要研究大数据集下利用杠杆值抽样后的异常点诊断问题。首先讨论了数据删除模型中参数估计的统计性质,构造了四种异常点诊断统计量;其次,根据均值漂移模型的漂移参数的假设检验问题,构造了三种检验统计量;最后,通过模拟和实证数据分析结果得出本文的结论—异常点诊断对于基于杠杆值的大数据集抽样估计起到重要的影响作用。 展开更多

关键词 大数据 杠杆值 异常点 不等概抽样 最小二乘估计

原文传递

基于强影响度的近红外奇异样本识别算法研究 被引量：4

2

作者 吴兆娜 丁香乾 +2 位作者 宫会丽 董梅 王梅勋 《光谱学与光谱分析》 SCIE EI CAS CSCD 北大核心 2015年第7期1830-1834,共5页

校正样本选择以及奇异样本剔除对于近红外光谱定量和定性建模非常重要。现有的识别奇异样本的方法一般都基于数据重心估计,需要一个经验的判断阈值,在很大程度上限制了其识别准确性和实用性。针对现有方法奇异样本识别准确率低的问题,... 校正样本选择以及奇异样本剔除对于近红外光谱定量和定性建模非常重要。现有的识别奇异样本的方法一般都基于数据重心估计,需要一个经验的判断阈值,在很大程度上限制了其识别准确性和实用性。针对现有方法奇异样本识别准确率低的问题,改进了一种现有度量尺度-杠杆值,构造出一种新的基于强影响度的奇异样本识别算法。这种度量尺度在一定程度上减少了对数据重心的依赖,使正常样本更加聚集,拉开了奇异样本与正常样本的距离;同时,为了避免人工根据经验设定阈值的不合理性,引入统计学领域中跳跃度的概念,提出了一种自动阈值设定方法判别奇异样本。为了验证该算法的有效性,利用马氏距离、杠杆值-光谱残差法与该算法分别对200个代表性校正集样本中的异常样品进行剔除,然后通过偏最小二乘法(PLS)对剩余的校正集样本(以烟碱为指标)定量建模,并对60个代表性测试集样本进行预测,以交互验证均方根误差(RMSECV)、相关系数(r)和预测均方根误差(RMSEP)为评价指标比较各算法的优劣。实验对比结果表明,基于强影响度的奇异样本识别算法较现有方法明显提高了奇异样本识别的准确率,具有较低的RMSECV(0.104),RMSEP(0.112)以及较高的R(0.983),提高了模型的稳定性和预测能力。 展开更多

关键词 近红外光谱 马氏距离 杠杆值 光谱残差 奇异样本识别

下载PDF 职称材料

中小城市空气环境指标的多角度分析研究——以楚雄市为例 被引量：1

3

作者 杨新平 罗兆丹 段国聪 《环境科学与管理》 CAS 2014年第7期101-105,共5页

文章根据楚雄市空气污染数据,采用统计的方法从不同的角度探求中小城市空气污染指标的变化规律,并求出三种污染物的同时置信区间及它们之间的关联性。结果表明:楚雄市的空气污染主要由SO2造成,室外空气质量能达到一类地区的水平,三种污... 文章根据楚雄市空气污染数据,采用统计的方法从不同的角度探求中小城市空气污染指标的变化规律,并求出三种污染物的同时置信区间及它们之间的关联性。结果表明:楚雄市的空气污染主要由SO2造成,室外空气质量能达到一类地区的水平,三种污染物之间两两相关性较弱,但整体相关性较强,同时根据结论提出了相应的建议。 展开更多

关键词 杠杆值 偏相关系数 检验 同时置信区间

下载PDF 职称材料

关于SAS与SPSS软件中的异常点诊断 被引量：1

4

作者 赵良渊 王彤 何大卫 《山西医科大学学报》 CAS 2002年第4期326-328,共3页

目的　介绍利用SAS和SPSS软件诊断不同空间内的异常点。方法　通过SAS和SPSS软件实现对异常点的诊断。结果　阐述应用SAS和SPSS软件诊断异常点 ,并且应用两个软件中的诊断方法 ,来说明诊断是在两个软件实现结果中的相互关系。

关键词 SAS SPSS软件 异常点 杠杆值 统计分析软件

下载PDF 职称材料

基于稳健马氏距离的多元异常值检测 被引量：8

5

作者 王斌会 陈一非 《统计与决策》 CSSCI 北大核心 2005年第03X期4-6,共3页

多元数据由于其复杂性而使其中的异常值检测问题成为一个研究难点。传统的多元统计方法由于受异常值影响使结果产生不稳定性。本文提出一种基于稳健马氏距离的异常值检测方法,并与其它一般的传统办法进行比较说明其优良性。

关键词 稳健马氏距离 多元分析 异常值 检测方法 一般杠杆值 稳健杠杆值 协方差矩阵

下载PDF 职称材料

ZIP回归模型的数据删除度量和广义杠杆 被引量：4

6

作者 李爱萍 谷政 解锋昌 《南京林业大学学报（自然科学版）》 CAS CSCD 北大核心 2007年第6期109-112,共4页

为了探测含零较多的计数数据对ZIP回归模型的影响,基于EM算法和完全数据似然函数,笔者利用数据删除方法研究了模型的全局影响,得到了参数估计的一步近似表达式以及相应的广义Cook距离和Q-距离,并研究了在EM框架下的广义杠杆值。最后,通... 为了探测含零较多的计数数据对ZIP回归模型的影响,基于EM算法和完全数据似然函数,笔者利用数据删除方法研究了模型的全局影响,得到了参数估计的一步近似表达式以及相应的广义Cook距离和Q-距离,并研究了在EM框架下的广义杠杆值。最后,通过实际问题说明了所得统计量的有效性。 展开更多

关键词 ZIP回归 EM算法 数据删除 广义COOK距离 Q-距离 广义杠杆值

下载PDF 职称材料

大数据岭回归的最优子抽样 被引量：3

7

作者 陈云璐 张楠 《复旦学报（自然科学版）》 CAS CSCD 北大核心 2022年第1期1-9,共9页

针对大数据岭回归问题,研究了提升计算效率的子抽样方法。现有子抽样方法的研究主要集中于没有惩罚项的模型框架,而相较于普通最小二乘估计,岭回归中惩罚项的引入权衡了估计的偏差和方差。通过子样本所得估计的渐近性质研究,本文提出了... 针对大数据岭回归问题,研究了提升计算效率的子抽样方法。现有子抽样方法的研究主要集中于没有惩罚项的模型框架,而相较于普通最小二乘估计,岭回归中惩罚项的引入权衡了估计的偏差和方差。通过子样本所得估计的渐近性质研究,本文提出了以渐近均方误差为优化准则的岭回归最优子抽样估计,并计算得到包含岭杠杆值和L_(2)范数的子抽样概率,对岭杠杆值的计算使用近似方法后,得到计算成本较低的算法。 展开更多

关键词 大数据 岭回归 子抽样方法 岭杠杆值

下载PDF 职称材料

大样本线性回归的子抽样方法比较研究

8

作者 张新扬 赵桂梅 刘喜波 《信息技术与信息化》 2021年第1期124-126,共3页

本文主要探究大样本线性回归的子抽样方法,采用均匀抽样和杠杆值抽样的子抽样方法,对数据进行线性回归模型的拟合,使用均方误差来评价抽样方法的优良性。借助随机模拟方式,通过改变子样本量的大小以及增加抽样次数,观察均匀抽样和杠杆... 本文主要探究大样本线性回归的子抽样方法,采用均匀抽样和杠杆值抽样的子抽样方法,对数据进行线性回归模型的拟合,使用均方误差来评价抽样方法的优良性。借助随机模拟方式,通过改变子样本量的大小以及增加抽样次数,观察均匀抽样和杠杆值抽样两种抽样方法均方误差的变化。模拟结果表明,无论是改变子样本量大小还是增加抽样次数,杠杆值抽样的均方误差总是小于均匀抽样的均方误差。 展开更多

关键词 线性回归模型 子抽样 均匀抽样 杠杆值抽样

下载PDF 职称材料

房贷数据回归模型合理性的实证研究

9

作者 杨新平 刘鹏 《楚雄师范学院学报》 2009年第3期31-37,共7页

银行房屋抵押贷款数据中有两个重要指标,权利价值和贷款金额。根据实际房贷数据,用单位贷款金额和单位权利价值建立一个线性回归模型。使用高杠杆值对模型进行分析诊断,探测出数据中的强影响点后,再建立一个改良模型。最后根据统计分析... 银行房屋抵押贷款数据中有两个重要指标,权利价值和贷款金额。根据实际房贷数据,用单位贷款金额和单位权利价值建立一个线性回归模型。使用高杠杆值对模型进行分析诊断,探测出数据中的强影响点后,再建立一个改良模型。最后根据统计分析结果对银行房贷工作提出合理化建议。 展开更多

关键词 单位贷款金额 单位权利价值 高杠杆值 异常点 强影响点 检验

下载PDF 职称材料

处理高杠杆异常值的抗隐差型Bayes方法 被引量：2

10

作者 张倩倩 归庆明 王延停 《武汉大学学报（信息科学版）》 EI CSCD 北大核心 2012年第5期582-585,共4页

给出了一种剔除初始子集中高杠杆异常值的方法。首先根据高杠杆异常值在总观测值集中所占的比例选出若干组观测值,使得至少有一组不含高杠杆异常值的概率很高;然后根据残差最小准则从中选出不含高杠杆异常值的那组作为初始子集;最后用... 给出了一种剔除初始子集中高杠杆异常值的方法。首先根据高杠杆异常值在总观测值集中所占的比例选出若干组观测值,使得至少有一组不含高杠杆异常值的概率很高;然后根据残差最小准则从中选出不含高杠杆异常值的那组作为初始子集;最后用这种初始子集确定方法结合Gibbs抽样给出了相应的Bayes多粗差定位算法。 展开更多

关键词 高杠杆异常值 隐差 BAYES方法 粗差探测 GIBBS抽样

原文传递

偏鲁棒M回归回声状态网络

11

作者 麻风梅 王改堂 《弹箭与制导学报》 北大核心 2019年第5期59-62,共4页

为了提高回声状态网络的非线性映射能力和网络的学习性能,提出了偏鲁棒M回归回声状态网络。首先,将储备池激活函数的输出矩阵作为PRM算法的输入样本数据,输出向量作为PRM算法的输出样本数据;其次,对输入输出样本进行加权处理,建立它们... 为了提高回声状态网络的非线性映射能力和网络的学习性能,提出了偏鲁棒M回归回声状态网络。首先,将储备池激活函数的输出矩阵作为PRM算法的输入样本数据,输出向量作为PRM算法的输出样本数据;其次,对输入输出样本进行加权处理,建立它们之间的回归模型来获取PRM算法的回归系数(即ESN网络的输出权值);最后,通过仿真实验验证,与回声状态网络相比,该算法不仅是有效的、可行的,而且具有较高的测试精度和良好的泛化能力。 展开更多

关键词 回声状态网络 偏鲁棒M回归 残差权值 杠杆权值

下载PDF 职称材料

杠杆表示值误差的不确定度评定

12

作者 王春雷 《山东工业技术》 2019年第6期221-221,共1页

介绍了杠杆表示值误差的不确定度评定,从测量依据,测量方法,测量模型等方面进行了论述。

关键词 测量重复性 不确定度分量 杠杆表示值

下载PDF 职称材料