基于统计学的最近邻查询中维数灾难的研究 被引量：15

1

作者 薄树奎 李盛阳 朱重光 《计算机工程》 EI CAS CSCD 北大核心 2006年第21期6-8,共3页

对高维数据空间中维数对最近邻查询结果的影响作了研究,提出了对这种影响的评估方法,基于统计学,证明了在一定条件下,相似性查询的不稳定性,以及其随维数的增加恶化程度的分布规律。给出了两个关于距离的统计量的分布,可以对最近邻查询... 对高维数据空间中维数对最近邻查询结果的影响作了研究,提出了对这种影响的评估方法,基于统计学,证明了在一定条件下,相似性查询的不稳定性,以及其随维数的增加恶化程度的分布规律。给出了两个关于距离的统计量的分布,可以对最近邻查询问题进行理论估计,并通过实验结果验证了理论的正确性。 展开更多

关键词 不稳定性 统计 维数灾难 相似性 最近邻

下载PDF 职称材料

一种多分辨率高维图像特征匹配算法 被引量：12

2

作者 崔江涛 刘卫光 周利华 《光子学报》 EI CAS CSCD 北大核心 2005年第1期138-141,共4页

通过对图像进行特征提取和变换 ,图像的相似性匹配可以转换为高维向量空间内的点匹配 为了解决高维数据的维数灾难问题 ,提出一种基于多分辨率数据结构的向量近似方法 从低分辨率开始计算距离下限 ,如果距离下限大于目前结果集中的最... 通过对图像进行特征提取和变换 ,图像的相似性匹配可以转换为高维向量空间内的点匹配 为了解决高维数据的维数灾难问题 ,提出一种基于多分辨率数据结构的向量近似方法 从低分辨率开始计算距离下限 ,如果距离下限大于目前结果集中的最大距离 ,则不需要在高分辨率上计算其距离而将其排除掉 ,从而降低了向量近似方法的运算复杂度 提出应用此方法的近邻搜索算法并运用到图像数据库的特征匹配中 ,实验证明 展开更多

关键词 匹配算法 高维数据 多分辨率 点匹配 图像数据库 特征匹配 特征提取 近似方法 实验证明 下限

下载PDF 职称材料

梯级水库短期优化调度模型的精细化与GPU并行实现 被引量：14

3

作者 纪昌明 马皓宇 +2 位作者 吴嘉杰 俞洪杰 彭杨 《水利学报》 EI CSCD 北大核心 2019年第5期535-546,共12页

目前制约梯级水库短期优化调度在实际工程中应用的主要瓶颈有:所构建的优化模型存在不合理的简化策略,所选择的求解算法无法保证解的质量以及模型的计算时间远超规定时长。为解决上述问题,本文首先构建精细至水电站各机组工作特性的优... 目前制约梯级水库短期优化调度在实际工程中应用的主要瓶颈有:所构建的优化模型存在不合理的简化策略,所选择的求解算法无法保证解的质量以及模型的计算时间远超规定时长。为解决上述问题,本文首先构建精细至水电站各机组工作特性的优化调度模型,接着通过二重嵌套动态规划(DP)计算给定模拟精度下的高质量解,并针对算法固有的'维数灾'问题,一方面通过数据压缩与数据库技术降低程序的内存占用量,另一方面将GPU并行加速技术首次引入水库调度领域,通过OpenACC实现算法的GPU并行以减少计算时间。最后通过潘口、小漩梯级水库日优化调度的实例研究与对比分析得出:精细模型较传统模型能更好地贴合电站的实际工况,提高梯级系统的发电效益;内存占用缩减策略的引入能有效降低算法的空间复杂度;GPU并行较传统的CPU并行能大幅提升算法的求解速度。由此为短期优化调度的理论发展与算法'维数灾'的处理提供借鉴。 展开更多

关键词 精细化模型 嵌套动态规划 GPU并行 短期优化调度 维数灾

下载PDF 职称材料

基于Hubness与类加权的k最近邻分类算法 被引量：6

4

作者 李金孟 林亚平 祝团飞 《计算机工程》 CAS CSCD 北大核心 2018年第4期248-252,261,共6页

针对高维不平衡数据中维数灾难和类不平衡分布问题,提出一种改进k最近邻(kNN)分类算法HWNN。将样本的k发生分布作为其在预测时对各个类的支持度,以此减少高维数据中hubs对kNN分类带来的潜在负面影响。通过类加权的方式增加少数类在所有... 针对高维不平衡数据中维数灾难和类不平衡分布问题,提出一种改进k最近邻(kNN)分类算法HWNN。将样本的k发生分布作为其在预测时对各个类的支持度,以此减少高维数据中hubs对kNN分类带来的潜在负面影响。通过类加权的方式增加少数类在所有样本k发生中的分布比例,以提升对少数类样本的预测精度。在16个不平衡UCI数据集上的实验结果表明,该算法在高维不平衡数据中的分类结果优于典型kNN方法,且在普通维度的不平衡数据中优势同样明显。 展开更多

关键词 Hubness现象 高维不平衡数据 维数灾难 数据分类 k发生 k最近邻分类

下载PDF 职称材料

二次式距离上基于SVD的高维图像索引方法 被引量：5

5

作者 崔江涛 孙君顶 +1 位作者 付少锋 周利华 《中国图象图形学报》 CSCD 北大核心 2006年第4期498-503,共6页

向量近似方法(vector approxim ation file)是解决高维索引中维数灾难问题的一种有效方法,但是它不能直接支持二次式距离上的近邻搜索,为此,提出一种基于奇异值分解(SVD)的二次式距离上的向量近似方法,通过奇异值分解技术将二次式距离... 向量近似方法(vector approxim ation file)是解决高维索引中维数灾难问题的一种有效方法,但是它不能直接支持二次式距离上的近邻搜索,为此,提出一种基于奇异值分解(SVD)的二次式距离上的向量近似方法,通过奇异值分解技术将二次式距离变换为欧氏距离形式,对变换后的特征向量进行近似得到近似向量。进行近邻搜索时采用低维过滤算法,先在较高能量的低维子空间内计算近似距离进行过滤,再对过滤结果进行高维距离计算。实验结果表明,低维过滤算法可以过滤掉大部分特征向量,而只有小部分数据需要进行高维距离运算,该方法可以显著提高大型高维图像数据库的近邻搜索性能。 展开更多

关键词 维数灾难 二次式距离 近邻搜索 奇异值分解 向量近似

下载PDF 职称材料

基于流行度预测的互联网+电视节目缓存调度算法 被引量：3

6

作者 朱琛刚 程光 +1 位作者 胡一非 王玉祥 《计算机研究与发展》 EI CSCD 北大核心 2016年第4期742-751,共10页

针对互联网+电视平台为提高热点节目命中率而过渡消耗存储空间的问题,提出一种基于流行度预测的节目缓存调度算法PPRA(popularity prediction replication algorithm).首先,在对实际测量数据进行统计与分析的基础上,使用随机森林(random... 针对互联网+电视平台为提高热点节目命中率而过渡消耗存储空间的问题,提出一种基于流行度预测的节目缓存调度算法PPRA(popularity prediction replication algorithm).首先,在对实际测量数据进行统计与分析的基础上,使用随机森林(random forests,RF)算法构建节目流行度预测模型.同时,针对所选特征存在的"维数灾难"问题,利用主成分分析法(principal component analysis,PCA)实施特征降维处理,以实现视频流行度预测值的快速计算.然后基于节目流行度预测数据调度缓存中的节目.最后以某广电运营商130万用户120d的收视数据为例,对PPRA算法进行实验.实验结果表明,在保证一定缓存命中率前提下,与LRU,LFU算法相比,PPRA算法仅需30%的存储空间,可有效降低互联网+电视平台的建设成本. 展开更多

关键词 互联网+电视 流行度预测 随机森林 缓存策略 维数灾难

下载PDF 职称材料

美式有分红看涨篮子期权解析近似定价模型

7

作者 唐耀宗 《内江师范学院学报》 2014年第10期19-22,27,共5页

针对有分红美式篮子看涨期权,使用格点法与蒙特卡罗模拟法定价时,会产生"维数灾难".对此,将期权的收益项进行适当改写,然后利用几何平均与算术平均之间的关系,将标的资产组合从算术平均转化为几何平均;然后在单标的资产美式... 针对有分红美式篮子看涨期权,使用格点法与蒙特卡罗模拟法定价时,会产生"维数灾难".对此,将期权的收益项进行适当改写,然后利用几何平均与算术平均之间的关系,将标的资产组合从算术平均转化为几何平均;然后在单标的资产美式期权解析近似定价模型的基础上,提出了一种解析近似方法为美式分红篮子看涨期权进行定价(Analytical Approximation Method,简称AAM).此方法解决了"维数灾难"问题.最后,通过数值结果验证了该方法的有效性. 展开更多

关键词 美式篮子期权 维数灾难 解析近似法

下载PDF 职称材料

Tabu搜索在特征选择中的应用 被引量：26

8

作者 张鸿宾 孙广煜 《自动化学报》 EI CSCD 北大核心 1999年第4期457-466,共10页

研究利用Ｔａｂｕ搜索从大特征集中选择一组有效特征的问题．分析了Ｔａｂｕ搜索中表长、邻域大小和候选解数量等参数对Ｔａｂｕ搜索的影响．对两种特征选择的问题，与经典及最近新提出的一些特征选择方法如ＳＦＳ，ＳＢＳ，ＧＳＦＳ，... 研究利用Ｔａｂｕ搜索从大特征集中选择一组有效特征的问题．分析了Ｔａｂｕ搜索中表长、邻域大小和候选解数量等参数对Ｔａｂｕ搜索的影响．对两种特征选择的问题，与经典及最近新提出的一些特征选择方法如ＳＦＳ，ＳＢＳ，ＧＳＦＳ，ＧＳＢＳ，ＰＴＡ，ＢＢ，ＧＡ和ＳＦＦＳ，ＳＦＢＳ等算法的实验比较表明，Ｔａｂｕ搜索在求解时间和解的质量上都取得了满意的结果． 展开更多

关键词 特征选择 TABU搜索 模式分类器 NP问题

下载PDF 职称材料

分层强化学习综述 被引量：20

9

作者 周文吉 俞扬 《智能系统学报》 CSCD 北大核心 2017年第5期590-594,共5页

强化学习(reinforcement learning)是机器学习和人工智能领域的重要分支,近年来受到社会各界和企业的广泛关注。强化学习算法要解决的主要问题是,智能体如何直接与环境进行交互来学习策略。但是当状态空间维度增加时,传统的强化学习方... 强化学习(reinforcement learning)是机器学习和人工智能领域的重要分支,近年来受到社会各界和企业的广泛关注。强化学习算法要解决的主要问题是,智能体如何直接与环境进行交互来学习策略。但是当状态空间维度增加时,传统的强化学习方法往往面临着维度灾难,难以取得好的学习效果。分层强化学习(hierarchical reinforcement learning)致力于将一个复杂的强化学习问题分解成几个子问题并分别解决,可以取得比直接解决整个问题更好的效果。分层强化学习是解决大规模强化学习问题的潜在途径,然而其受到的关注不高。本文将介绍和回顾分层强化学习的几大类方法。 展开更多

关键词 人工智能 机器学习 强化学习 分层强化学习 深度强化学习 马尔可夫决策过程 半马尔可夫决策过程 维度灾难

下载PDF 职称材料

正交支持向量机及其在信用评分中的应用 被引量：16

10

作者 韩璐 韩立岩 《管理工程学报》 CSSCI CSCD 北大核心 2017年第2期128-136,共9页

虽然目前在实践中最常用的信用评分方法是逻辑回归,但研究的结果表明支持向量机在信用评分建模中是更为有效的方法。然而逻辑回归和支持向量机方法在高维数据分类问题上都面临着维度灾难的问题。正是基于以上原因,笔者提出了正交支持向... 虽然目前在实践中最常用的信用评分方法是逻辑回归,但研究的结果表明支持向量机在信用评分建模中是更为有效的方法。然而逻辑回归和支持向量机方法在高维数据分类问题上都面临着维度灾难的问题。正是基于以上原因,笔者提出了正交支持向量机的方法,并与目前常用的特征提取方法——主成分分析,逐步回归等在German信用卡数据集上进行了对比实验,交叉实验的结果表明正交支持向量机不论是在评分效果上还是评分效率上都有更好的表现。 展开更多

关键词 正交支持向量机 维度灾难 逻辑回归 信用评分

下载PDF 职称材料

基于堆栈降噪自编码网络的个人信用风险评估方法 被引量：4

11

作者 杨德杰 章宁 +1 位作者 袁戟 白璐 《计算机科学》 CSCD 北大核心 2019年第10期7-13,共7页

个人信用历来是银行衡量个人履约风险最重要的因素。近年来,随着我国借贷需求与日俱增,仅依据信用卡信息的传统个人信用评估方式,已不能完全满足银行业的发展需求。因此,为了构建更加丰富的用户信用画像,文中基于银行大数据提取信用风... 个人信用历来是银行衡量个人履约风险最重要的因素。近年来,随着我国借贷需求与日俱增,仅依据信用卡信息的传统个人信用评估方式,已不能完全满足银行业的发展需求。因此,为了构建更加丰富的用户信用画像,文中基于银行大数据提取信用风险评估特征。为了解决金融大数据带来的维度灾难和噪声问题,充分考虑了数据特征之间的相关性,对堆栈降噪自编码神经网络模型进行了改进,引入了截断的Karhunen-Loève展开作为噪声传入项,并在某商业银行的大数据平台上进行了一系列数据实验。实验结果显示:相比仅使用信用卡信息,利用银行大数据能使衡量正负样本分离度的指标——K-S值提升约11%;改进的堆栈降噪自编码神经网络方法具有更好的风险评估效果,准确率相比原模型提高了3%左右,验证了在银行大数据环境下进行信用风险评估的有效性。 展开更多

关键词 信用风险评估 大数据 维度灾难 特征选择 堆栈降噪 深度学习

下载PDF 职称材料

储存问题异常点识别与变点分析 被引量：1

12

作者 童恒庆 《武汉工业大学学报》 CSCD 1995年第4期87-90,共4页

构造了失效率文化的储存问题的统计模型．作出了参数的极大似然估计，构造了废品率联合平行置信域和Ｂｏｎｆｅｒｒｏｎｉ同时置信域，探讨了维数祸根问题，作出了一维概率置信域．据此可以从不同的概率意义识别废品数据的异常点和作出... 构造了失效率文化的储存问题的统计模型．作出了参数的极大似然估计，构造了废品率联合平行置信域和Ｂｏｎｆｅｒｒｏｎｉ同时置信域，探讨了维数祸根问题，作出了一维概率置信域．据此可以从不同的概率意义识别废品数据的异常点和作出寿命分布参数的变点分析。作者编制了计算机程序，进行了模似计算，从理论推导与实际计算两方面较好地解决了这一课题． 展开更多

关键词 储存问题 异常点 变点分析 可靠性 统计模型

原文传递

高分子稀溶液的多尺度模型研究进展 被引量：1

13

作者 李俊杰 张颖 《厦门大学学报（自然科学版）》 CAS CSCD 北大核心 2013年第2期289-296,共8页

高分子稀溶液的结构流变学模型是复杂流体多尺度模型的重要基础,其多年来的成就难掩其近线性、近平衡的局限和数学上的不足.介绍了研究高分子稀溶液微宏观(多尺度)模型的新进展,包括确定性和随机性2种形式的本构模型;综述了哑铃分子多... 高分子稀溶液的结构流变学模型是复杂流体多尺度模型的重要基础,其多年来的成就难掩其近线性、近平衡的局限和数学上的不足.介绍了研究高分子稀溶液微宏观(多尺度)模型的新进展,包括确定性和随机性2种形式的本构模型;综述了哑铃分子多尺度模型在数学分析和数值模拟进展以及微观模型的约化及封闭近似等研究工作. 展开更多

关键词 微-宏观模型 Brownian动力学模拟 方差缩减 维数灾难 封闭近似

下载PDF 职称材料

美式分红篮子期权定价的求和最小二乘蒙特卡洛法

14

作者 唐耀宗 《喀什师范学院学报》 2014年第6期10-12,30,共4页

主要针对美式分红篮子买权的定价进行研究.美式篮子期权定价通常采用即最小二乘蒙特卡罗模拟.但是此方法存在拟合参数随标的资产维数增加而产生的"维数灾难".故此,提出了求和最小二乘蒙特卡罗模拟,并通过数值试验较好地验证... 主要针对美式分红篮子买权的定价进行研究.美式篮子期权定价通常采用即最小二乘蒙特卡罗模拟.但是此方法存在拟合参数随标的资产维数增加而产生的"维数灾难".故此,提出了求和最小二乘蒙特卡罗模拟,并通过数值试验较好地验证了该方法的有效性. 展开更多

关键词 求和最小二乘蒙特卡罗模拟 美式篮子期权 维数灾难

下载PDF 职称材料

基于分维与粒子群的裂纹扩展在线监测

15

作者 曾祥琦 纪国宜 《长沙理工大学学报（自然科学版）》 CAS 2015年第1期85-91,共7页

采用分形计盒维数计算模拟裂纹扩展信号的分维数,运用改进的能量差法自动拾取断裂信号的初至时间,依据时间差定位方法(TDOA)的原理和适应度函数,采用粒子群优化算法(PSO)得到最终的定位结果。试验采用均质的有机玻璃,用铅笔芯断裂信号... 采用分形计盒维数计算模拟裂纹扩展信号的分维数,运用改进的能量差法自动拾取断裂信号的初至时间,依据时间差定位方法(TDOA)的原理和适应度函数,采用粒子群优化算法(PSO)得到最终的定位结果。试验采用均质的有机玻璃,用铅笔芯断裂信号来模拟裂纹扩展信号,通过在3个已知坐标点做若干次铅笔芯断裂试验,最终得到的定位结果显示,依据时差法原理,采用分形计盒维数与粒子群优化算法的定位方法有其可行性,准确度较好。此方法给结构损伤的定位提供了一个新的思路。 展开更多

关键词 时间差定位方法 分形计盒维数 分维曲线 粒子群优化

下载PDF 职称材料

高维数据的相似性度量研究 被引量：7

16

作者 贺玲 蔡益朝 杨征 《计算机科学》 CSCD 北大核心 2010年第5期155-156,227,共3页

数据间的相似性度量是进一步分析数据集整体特性的一个重要基础。针对高维数据的相似性度量问题,提出了一种基于子空间的相似性度量方法。该方法先将高维空间进行基于网格的划分,然后在划分后的子空间内计算数据间的相似性。理论分析表... 数据间的相似性度量是进一步分析数据集整体特性的一个重要基础。针对高维数据的相似性度量问题,提出了一种基于子空间的相似性度量方法。该方法先将高维空间进行基于网格的划分,然后在划分后的子空间内计算数据间的相似性。理论分析表明,在合理选定网格划分参数的前提下,该方法可有效减小"维度灾难"对高维数据相似性度量的影响。 展开更多

关键词 高维数据 维度灾难 网格划分 子空间 相似度量

下载PDF 职称材料