期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
大规模数据下基于充分降维的Leverage重要性抽样方法 被引量:5
1
作者 秦磊 王奕丹 苏治 《统计研究》 CSSCI 北大核心 2020年第3期114-128,共15页
随着信息技术的飞速发展,大规模数据在短时间内搜集并储存下来,为分析决策提供了巨大的信息量,也给统计建模带来了一定难度。对于样本容量大、变量个数少的数据,Leverage重要性抽样是一个简便可行的方法。本文发现,该方法中度量样本重... 随着信息技术的飞速发展,大规模数据在短时间内搜集并储存下来,为分析决策提供了巨大的信息量,也给统计建模带来了一定难度。对于样本容量大、变量个数少的数据,Leverage重要性抽样是一个简便可行的方法。本文发现,该方法中度量样本重要性的Leverage分数与因变量无关,而且在维度较大的情形下对样本没有区分程度,使得估计结果较差。为了同时考虑因变量和维度的影响,本文提出了基于充分降维的Leverage重要性抽样方法。该方法以不损失信息为前提,在充分降维的空间内重新计算Leverage分数,使得抽样更具有代表性。模拟数据分析显示,在样本容量较大的复杂数据中,相比于原始的Leverage重要性抽样方法,本文提出的方法可以降低估计的均方误差。三个实际数据也证实了该方法的可行性和有效性。 展开更多
关键词 大规模数据 leverage分数 重要性抽样 充分降维
下载PDF
基于行列联合选择矩阵分解的偏好特征提取 被引量:7
2
作者 雷恒鑫 刘惊雷 《模式识别与人工智能》 EI CSCD 北大核心 2017年第3期279-288,共10页
针对奇异值分解(SVD)分析偏好特征不够准确,有时出现不可解释的情况,文中提出利用行列联合选择(CUR)矩阵分解方法获取原始矩阵M(用户对产品的偏好)的低秩近似,提取用户和产品的潜在偏好.首先计算M中行和列的统计影响力得分,并抽取得分... 针对奇异值分解(SVD)分析偏好特征不够准确,有时出现不可解释的情况,文中提出利用行列联合选择(CUR)矩阵分解方法获取原始矩阵M(用户对产品的偏好)的低秩近似,提取用户和产品的潜在偏好.首先计算M中行和列的统计影响力得分,并抽取得分较高的若干列和若干行构成低维矩阵C和R,然后由M、C、R近似构造矩阵U,将高维空间中的偏好特征提取问题转化为低维空间中的矩阵分析问题,使其具有较好的可解释性和准确性.最后,通过理论分析和实验发现,与传统分解方法相比,CUR矩阵分解方法在偏好特征提取方面具有更高的准确度、更好的可解释性及更高的压缩率. 展开更多
关键词 行列联合选择(CUR)矩阵分解 低秩近似 偏好特征 统计影响力得分 可解释性
下载PDF
大数据岭回归的最优子抽样 被引量:3
3
作者 陈云璐 张楠 《复旦学报(自然科学版)》 CAS CSCD 北大核心 2022年第1期1-9,共9页
针对大数据岭回归问题,研究了提升计算效率的子抽样方法。现有子抽样方法的研究主要集中于没有惩罚项的模型框架,而相较于普通最小二乘估计,岭回归中惩罚项的引入权衡了估计的偏差和方差。通过子样本所得估计的渐近性质研究,本文提出了... 针对大数据岭回归问题,研究了提升计算效率的子抽样方法。现有子抽样方法的研究主要集中于没有惩罚项的模型框架,而相较于普通最小二乘估计,岭回归中惩罚项的引入权衡了估计的偏差和方差。通过子样本所得估计的渐近性质研究,本文提出了以渐近均方误差为优化准则的岭回归最优子抽样估计,并计算得到包含岭杠杆值和L_(2)范数的子抽样概率,对岭杠杆值的计算使用近似方法后,得到计算成本较低的算法。 展开更多
关键词 大数据 岭回归 子抽样方法 岭杠杆值
下载PDF
基于加权集成Nystr?m采样的谱聚类算法 被引量:4
4
作者 邱云飞 刘畅 《模式识别与人工智能》 EI CSCD 北大核心 2019年第5期420-428,共9页
针对Nystrom方法在谱聚类应用中存在聚类效果不稳定、样本代表性较弱的问题,提出基于加权集成Nystrom采样的谱聚类算法.首先利用统计杠杆分数区别数据间的重要程度,对数据进行加权.然后基于权重采用加权K-means中心点采样,得到多组采样... 针对Nystrom方法在谱聚类应用中存在聚类效果不稳定、样本代表性较弱的问题,提出基于加权集成Nystrom采样的谱聚类算法.首先利用统计杠杆分数区别数据间的重要程度,对数据进行加权.然后基于权重采用加权K-means中心点采样,得到多组采样点.再引入集成框架,利用集群并行运行Nystrom方法构建近似核矩阵.最后利用岭回归方法组合各个近似核矩阵,产生比标准Nystrom方法更准确的低秩近似.在UCI数据集上的测试实验表明,文中算法取得较理想的聚类结果. 展开更多
关键词 谱聚类 Nystrom采样 统计杠杆分数加权 集成Nystrom
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部