高维线性回归模型稳健变量选择方法综述

1

作者 邹航 姜云卢 《应用概率统计》 CSCD 北大核心 2024年第1期157-181,共25页

随着大数据时代的到来,在经济学、金融学和生物医学等众多研究领域中频繁收集到高维数据.高维数据的特征之一是变量维数p随着样本量n的增加而变大且通常会超过样本量,同时,异常值也容易出现在高维数据中.因此,如何克服异常值给高维统计... 随着大数据时代的到来,在经济学、金融学和生物医学等众多研究领域中频繁收集到高维数据.高维数据的特征之一是变量维数p随着样本量n的增加而变大且通常会超过样本量,同时,异常值也容易出现在高维数据中.因此,如何克服异常值给高维统计推断带来的影响,从而得到更精确的模型,是目前统计学研究的热点问题之一.本文是对高维线性模型下的稳健变量选择方法进行综述.具体地,首先介绍评估稳健性的三个指标:影响函数、崩溃点和最大偏差.其次着重介绍了稳健变量选择方法,包括响应变量含有异常值,响应变量和协变量都含有异常值,高崩溃点且高效的变量选择方法.紧接着介绍相关算法,通过模拟和实例比较不同变量选择方法.最后,简要探讨了高维稳健有效变量选择方法存在的问题及未来的可能发展方向. 展开更多

关键词 高维线性回归模型 稳健性 变量选择 有效性

下载PDF 职称材料

基于MRCD估计的高维稳健因子分析方法及应用研究

2

作者 姜云卢 丰之韵 +1 位作者 刘巧云 邹航 《数理统计与管理》 北大核心 2024年第2期295-306,共12页

因子分析是常用的多元统计分析方法之一,其思想是根据变量间的相关关系求出少数几个主因子,利用这些主因子描述原始变量。传统因子分析方法具有不稳健性,如果数据存在离群值会得到不合理的结果。虽然基于MCD估计的稳健因子分析具有良好... 因子分析是常用的多元统计分析方法之一,其思想是根据变量间的相关关系求出少数几个主因子,利用这些主因子描述原始变量。传统因子分析方法具有不稳健性,如果数据存在离群值会得到不合理的结果。虽然基于MCD估计的稳健因子分析具有良好的抗干扰性,但是MCD估计的精度会随着维数的增加而不断降低,在维数大于样本量的情形下,该方法甚至会失去有效性。为了对高维数据进行有效的因子分析,本文提出基于MRCD估计的高维稳健因子分析方法。模拟分析的结果表明,在高维数据下,相较于传统因子分析以及MCD稳健因子分析,MRCD高维稳健因子分析能够很好地抵抗离群值的影响,得出更为合理的结论。本文在实证分析部分对11个沿海省份进行研究,结果显示MRCD高维稳健因子模型能够有效地得出高维数据的因子分析结果;沿海各省份经济增长质量发展不平衡,上海、广东经济增长质量发展得较好。 展开更多

关键词 高维数据 MRCD估计 因子分析

原文传递

基于折扣指数损失函数的高维异方差数据的惩罚稳健回归估计

3

作者 姜云卢 邹航 +2 位作者 温灿红 张宝学 王学钦 《数学进展》 CSCD 北大核心 2024年第1期41-63,共23页

生物医学、计量经济学和金融学领域的高维数据通常表现出异方差性,这引起了学者们极大的关注.虽然已经提出了大量方法来解决异方差或重尾误差,但是其中很多缺乏稳健的理论性质并且容易受到高杠杆点的影响.为了克服这些缺陷,本文提出了... 生物医学、计量经济学和金融学领域的高维数据通常表现出异方差性,这引起了学者们极大的关注.虽然已经提出了大量方法来解决异方差或重尾误差,但是其中很多缺乏稳健的理论性质并且容易受到高杠杆点的影响.为了克服这些缺陷,本文提出了一种新的针对高维异方差数据的稳健变量选择方法.我们的方法引入了一个非对称的指数平方损失函数,且在一些弱的条件下能实现最高的渐近崩溃点.此外,所提方法具有变量选择的相合性和渐近正态性.实证结果表明我们所提的方法在各种情况下具有竞争力.特别是在高维重尾和异质性数据中存在高杠杆点时,本文的方法优于现有的其它方法. 展开更多

关键词 异质性 折扣指数损失函数 稳健性 崩溃点

原文传递

高维稳健主成分聚类方法及其应用研究 被引量：4

4

作者 姜云卢 胡月 +1 位作者 刘巧云 黄美兰 《数理统计与管理》 CSSCI 北大核心 2022年第1期1-10,共10页

随着信息技术的高速发展,每条数据所包含的信息越来越丰富,使得数据不可避免地含有异常值,且随着维数的增加,异常值出现的可能性更大。传统的主成分聚类分析对异常值特別敏感,基于MCD估计的主成分聚类方法虽然对异常值具有防御作用,但... 随着信息技术的高速发展,每条数据所包含的信息越来越丰富,使得数据不可避免地含有异常值,且随着维数的增加,异常值出现的可能性更大。传统的主成分聚类分析对异常值特別敏感,基于MCD估计的主成分聚类方法虽然对异常值具有防御作用,但是在高维数据下MCD估计的偏差过大,其稳健性显著降低,而且当维数大于观测值个数时MCD估计失效。为此本文提出了基于MRCD估计的稳健主成分聚类方法,数值模拟和实证分析表明,基于MRCD估计的主成分聚类分析的效果优于传统的主成分聚类分析和基于MCD估计的主成分聚类分析,尤其是在维数大于样本观测值的情况下,MRCD估计更为有效。 展开更多

关键词 异常值 MCD估计 MRCD估计 主成分聚类分析

原文传递

基于MRCD估计的多元线性回归模型的稳健估计 被引量：3

5

作者 颜海波 邓罡 姜云卢 《广西师范大学学报（自然科学版）》 CAS 北大核心 2022年第1期175-186,共12页

含异常值的数据和高维数据越来越频繁地出现,对现有的稳健估计和多元线性回归估计方法提出了挑战。传统的多元线性回归模型估计对异常值非常敏感,基于MCD估计方法的多元线性回归估计对异常值有一定的抵御作用。但随着数据维数的增加,MC... 含异常值的数据和高维数据越来越频繁地出现,对现有的稳健估计和多元线性回归估计方法提出了挑战。传统的多元线性回归模型估计对异常值非常敏感,基于MCD估计方法的多元线性回归估计对异常值有一定的抵御作用。但随着数据维数的增加,MCD估计的精度不断降低,稳健性也随之降低,且当数据维数大于样本量时MCD估计方法失效。因此,本文利用MRCD的均值向量和协方差矩阵估计,提出了基于MRCD估计方法的高维稳健多元线性回归模型估计。数值模拟的结果表明,基于MRCD估计方法的多元线性回归模型估计能很好地抵御异常值,且在数据维数大于样本量的情况下,基于MRCD估计方法的多元线性回归估计更为有效。实证分析的结果表明,基于MRCD方法的多元线性回归估计能更好地抵御异常值并得到更好的预测效果。 展开更多

关键词 异常值 高维数据 MCD估计 MRCD估计 多元线性回归模型

下载PDF 职称材料

基于稳健回归的经济增长数据可靠性评估

6

作者 徐建挺 姜云卢 《数理统计与管理》 北大核心 2023年第2期326-334,共9页

为了顺应改革开放以来经济规模和结构的不断调整,我国的统计体系发生了较大的变化.部分经济指标在不同层面的汇总结果存在差异,导致一些学者和组织对我国公布的经济增长数据质量提出质疑.因此,对我国经济增长数据的可靠性进行检测,成为... 为了顺应改革开放以来经济规模和结构的不断调整,我国的统计体系发生了较大的变化.部分经济指标在不同层面的汇总结果存在差异,导致一些学者和组织对我国公布的经济增长数据质量提出质疑.因此,对我国经济增长数据的可靠性进行检测,成为学界持续关注的热点话题.在过去的研究中,很多学者使用了传统的回归方法,但这些方法容易受到异常值的影响,造成结果的可靠性较低.本文提出一种基于MRCD估计和MM估计的稳健回归方法,使用2019年中国内地31个省级行政区域的GDP增长率和14个经济增长相关指标的增长率数据对中国的经济数据质量进行了评估.研究结果表明,该模型不仅提高了对异常值的识别能力,还降低了异常值对回归估计值的影响,因而同时提高了结果的可靠性和实际应用能力.实证结果表明,我国的经济增长数据是有质量保证的. 展开更多

关键词 稳健回归 异常点诊断 数据质量

原文传递

高维稳健Hotelling T^(2)控制图的研究与应用 被引量：2

7

作者 姜云卢 丰之韵 《系统科学与数学》 CSCD 北大核心 2022年第7期1877-1890,共14页

控制图是统计过程控制中最广泛使用的技术之一,主要通过检测异常或失控的行为监控生产质量.传统Hotelling T^(2)控制图具有不稳健性,对存在异常值数据的监控效果不够理想.虽然基于MCD估计的稳健Hotelling T^(2)控制图能够更好地抵抗异... 控制图是统计过程控制中最广泛使用的技术之一,主要通过检测异常或失控的行为监控生产质量.传统Hotelling T^(2)控制图具有不稳健性,对存在异常值数据的监控效果不够理想.虽然基于MCD估计的稳健Hotelling T^(2)控制图能够更好地抵抗异常值的影响,但是MCD估计的精度会随着维数的增加而降低,在维数大于样本量的情形下,不仅T^(2)统计量无法计算,MCD估计方法也会失效.因此本文提出基于MRCD估计的高维稳健Hotelling T^(2)控制图,以实现对产生高维数据过程的有效监控.模拟实验和实证分析的结果表明,基于MRCD估计的高维稳健Hotelling T^(2)控制图的监控效果更优,能够很好地抵抗异常值的影响,极为有效地对过程中的异常情况发出警报. 展开更多

关键词 Hotelling T^(2)控制图 高维数据 稳健估计 MRCD估计

原文传递

高维稳健典型相关分析研究与应用 被引量：3

8

作者 姜云卢 邓罡 +1 位作者 文诗涵 刘峻成 《系统科学与数学》 CSCD 北大核心 2021年第10期2965-2976,共12页

随着各行业的快速发展和对数据应用的重视,产生的数据越来越多,结构也越来越复杂,含异常值的数据和高维数据越来越多地出现在我们的视野中.传统的典型相关分析对异常值非常敏感,基于MCD估计方法的典型相关分析对异常值有一定的抵御作用... 随着各行业的快速发展和对数据应用的重视,产生的数据越来越多,结构也越来越复杂,含异常值的数据和高维数据越来越多地出现在我们的视野中.传统的典型相关分析对异常值非常敏感,基于MCD估计方法的典型相关分析对异常值有一定的抵御作用,但随着数据维数的增加MCD估计的偏差不断变大,稳健性也随之降低,且在数据维数大于样本量的时候MCD估计方法失效,因此提出了基于MRCD估计方法的高维稳健典型相关分析.数值模拟和实证分析的结果表明,基于MRCD估计方法的典型相关分析能很好地抵御异常值,而且在数据维数大于样本量的情况下,基于MRCD估计方法的典型相关分析更为有效. 展开更多

关键词 异常值 高维数据 MCD估计 典型相关分析

原文传递

权重分位数-自适应LASSO方法研究与应用 被引量：1

9

作者 廖继标 姜云卢 +2 位作者 邓罡 陈宁 韩国胜 《湘潭大学学报（自然科学版）》 CAS 2021年第1期35-48,共14页

有关惩罚分位数回归的研究较为丰富,不过多数惩罚分位数回归模型并没有解决杠杆点问题,WLAD-LASSO能有效处理自变量存在的离群值,是惩罚分位数回归的特例.该文将WLAD-LASSO推广至更一般的情形,提出了WQR-LASSO方法.WQR-LASSO不仅具备WLA... 有关惩罚分位数回归的研究较为丰富,不过多数惩罚分位数回归模型并没有解决杠杆点问题,WLAD-LASSO能有效处理自变量存在的离群值,是惩罚分位数回归的特例.该文将WLAD-LASSO推广至更一般的情形,提出了WQR-LASSO方法.WQR-LASSO不仅具备WLAD-LASSO的优点,而且无须对误差分布做任何假设,能更加全面地反映自变量对因变量不同分位点的影响,同时实现稳健的参数估计和变量选择.模拟结果表明,相较于自适应LASSO和中位数-自适应LASSO方法,WQR-LASSO的正确拟合率基本为100%,均方差大多小于1,在有限样本上表现更好.实证分析表明,运用WQR-LASSO对波士顿都会区的房产进行估价,与特征价格模型和机器学习方法中备受好评的随机森林方法相比,WQR-LASSO提供的估价结果准确性较高,变量选择能力也最强. 展开更多

关键词 权重分位数-自适应LASSO 稳健变量选择 异常值 惩罚分位数回归

下载PDF 职称材料

Geman-McClure中位数

10

作者 姜云卢 葛文秀 《应用数学学报》 CSCD 北大核心 2015年第2期303-316,共14页

本文基于深度函数介绍了一类仿射等价的多元中位数.证明了所提的中位数的影响函数是有界的,且其渐近增加崩溃点能达到0.5.给出了Geman-McClure中位数的相合性和渐近正态性.模拟研究说明了所提中位数的有限样本表现,且能同时实现高的有... 本文基于深度函数介绍了一类仿射等价的多元中位数.证明了所提的中位数的影响函数是有界的,且其渐近增加崩溃点能达到0.5.给出了Geman-McClure中位数的相合性和渐近正态性.模拟研究说明了所提中位数的有限样本表现,且能同时实现高的有效性和稳健性.最后,应用所提的方法分析了一个实际数据. 展开更多

关键词 Geman—McClure中位数 相对效 稳健性 交叉验证

原文传递

超市O2O全渠道模式发展态势初探——以广州、深圳、珠海调研数据为例

11

作者 林楚海 陈耿鑫 +2 位作者 蒋泽婷 曹雨婷 姜云卢 《中国集体经济》 2015年第15期56-57,共2页

文章从消费者的视角出发,通过数据分析与建立logistic模型,认为超市要较好地实现模式转变,可从超市Wi-Fi开始,与消费者建立联系,并通过物流配送,提升线下购物体验。在平台建设上,可以稍向女性倾斜;模式转型的同时,企业结构也应相应进行... 文章从消费者的视角出发,通过数据分析与建立logistic模型,认为超市要较好地实现模式转变,可从超市Wi-Fi开始,与消费者建立联系,并通过物流配送,提升线下购物体验。在平台建设上,可以稍向女性倾斜;模式转型的同时,企业结构也应相应进行调节,建立完善的物流体系。 展开更多

关键词 超市O2O 消费习惯 线下体验

下载PDF 职称材料

基于MM-算法的局部常数核加权分位数回归估计及应用

12

作者 姜云卢 袁晶晶 《华南师范大学学报（自然科学版）》 CAS 北大核心 2013年第4期16-20,共5页

提出了一种新的基于MM-算法的局部常数核加权计算法,得到的分位数回归估计曲线在比较弱的条件下是连续光滑的.讨论了该方法中协调参数的选取问题.数值模拟和实证研究的结果表明,利用所提出的计算方法所得到的非参数曲线估计在重尾误差... 提出了一种新的基于MM-算法的局部常数核加权计算法,得到的分位数回归估计曲线在比较弱的条件下是连续光滑的.讨论了该方法中协调参数的选取问题.数值模拟和实证研究的结果表明,利用所提出的计算方法所得到的非参数曲线估计在重尾误差的情况下具有一定的稳健性. 展开更多

关键词 MM-算法 分位数回归 核光滑 局部常数拟合

下载PDF 职称材料