期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到4篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
带有方差减小的加权零阶随机梯度下降算法 被引量：6
1
作者 鲁淑霞 张罗幻 +1 位作者 蔡莲香 孙丽丽 《河北大学学报（自然科学版）》 CAS 北大核心 2019年第5期536-546,共11页
随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导... 随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导的问题,计算代价太大或无法进行计算;在每次迭代中利用单个样本梯度近似代替全梯度,这必然会产生方差,严重影响算法的分类性能.针对上述问题,提出了带有方差减小的加权零阶随机梯度下降算法,考虑了数据的间隔分布情况,在目标函数中引入了间隔均值项,并对多数类样例赋予了较小的权值,对少数类样例赋予较大的权值.在对优化问题的求解中,采用零阶优化的方法对梯度进行估计,并且引入了方差减小策略.在一些非平衡数据集上的实验验证了所提算法的有效性,并有效解决了上述问题. 展开更多
关键词 零阶优化 随机梯度下降 方差减小 非平衡数据 支持向量机
下载PDF
基于动量加速零阶减小方差的鲁棒支持向量机 被引量：4
2
作者 鲁淑霞 蔡莲香 张罗幻 《计算机工程》 CAS CSCD 北大核心 2020年第12期88-95,104,共9页
在实际分类问题中,由于人为或其他因素的影响,数据中往往存在一定的噪声,而传统支持向量机(SVM)使用的铰链损失函数对噪声数据敏感,且分类性能较差。为消除噪声数据的影响,提出一种新的鲁棒SVM算法。通过引入新形式的损失函数,并基于间... 在实际分类问题中,由于人为或其他因素的影响,数据中往往存在一定的噪声,而传统支持向量机(SVM)使用的铰链损失函数对噪声数据敏感,且分类性能较差。为消除噪声数据的影响,提出一种新的鲁棒SVM算法。通过引入新形式的损失函数,并基于间隔分布的思想,建立鲁棒SVM优化模型提高SVM的抗噪性,运用零阶减小方差算法并结合动量加速技术,给出一种新的优化模型求解方法。实验结果表明,该方法通过引入梯度修正项降低了方差对算法的影响,同时结合动量加速技术,明显提高了算法的收敛速度。 展开更多
关键词 噪声 零阶梯度 方差 动量加速 鲁棒支持向量机
下载PDF
基于零阶减小方差方法的鲁棒支持向量机 被引量：1
3
作者 鲁淑霞 蔡莲香 张罗幻 《计算机科学》 CSCD 北大核心 2019年第11期193-201,共9页
采用传统的支持向量机方法对含有噪声的数据进行分类时会产生较大的损失,使得分类超平面严重偏离最优超平面,从而导致分类性能较差。为了解决此问题,文中提出了一种鲁棒的支持向量机(Robust Support Vector Machine,RSVM)方法,该方法给... 采用传统的支持向量机方法对含有噪声的数据进行分类时会产生较大的损失,使得分类超平面严重偏离最优超平面,从而导致分类性能较差。为了解决此问题,文中提出了一种鲁棒的支持向量机(Robust Support Vector Machine,RSVM)方法,该方法给出了一种正弦平方形式的损失函数,根据正弦函数的特点,即使对于噪声数据,其损失函数的值也会被限制在[0,1]区间,从而提高了支持向量机的抗噪性。另外,在求解支持向量机时,传统的随机梯度下降方法在每次迭代中利用单个样本梯度近似代替全梯度,这样必然会产生方差,而随着迭代次数的增加,方差也不断累积,从而严重影响算法的分类性能。为了减小方差的影响,引入零阶减小方差的随机梯度下降(Zeroth Order-Stochastic Variance Reduced Gradient,ZO-SVRG)算法。该算法使用坐标梯度估计方法近似代替梯度,通过在每轮迭代中引入梯度修正项来减小方差的影响;同时,采取加权平均的输出形式进行内外循环的输出,加快了优化问题的收敛速度。实验结果表明,提出的基于零阶减小方差方法的鲁棒支持向量机算法对噪声数据具有更好的鲁棒性,且有效降低了方差的影响;为了进一步提高算法的性能,对实验中主要参数λ,k对算法精度的影响进行了分析。对于线性和非线性两种情况,当其参数对(λ,k)分别满足(λ=1,k=5)和(λ=10,k=3)时,可以达到各自的最高精度。 展开更多
关键词 方差约简 零阶优化 支持向量机 损失函数 噪声
下载PDF
基于欠采样的零阶优化算法
4
作者 鲁淑霞 张罗幻 蔡莲香 《南京航空航天大学学报》 EI CAS CSCD 北大核心 2019年第5期609-617,共9页
非平衡学习吸引了许多研究者的关注。一般情况下,少数类是更值得关注的,并且其误分类代价要远高于多数类。由于非平衡数据分布的非均衡性,标准的分类算法将难以适用。为了解决非平衡数据分类问题,给出了基于欠采样的零阶优化算法。首先... 非平衡学习吸引了许多研究者的关注。一般情况下,少数类是更值得关注的,并且其误分类代价要远高于多数类。由于非平衡数据分布的非均衡性,标准的分类算法将难以适用。为了解决非平衡数据分类问题,给出了基于欠采样的零阶优化算法。首先,为了降低数据非平衡分布的影响,针对不同非平衡比的数据集给出了不同的两种采样策略。然后,采用了一种引入间隔均值项的支持向量机(Support vector machine,SVM)优化模型进行分类,并使用带有方差减小的零阶随机梯度下降算法进行求解,提高了算法的精度。在非平衡数据上进行了对比实验,实验证明提出的方法有效提高了非平衡数据的分类效果。 展开更多
关键词 欠采样 零阶优化 支持向量机 非平衡数据集 方差减小
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部