-
题名非光滑凸情形Adam 型算法的最优个体收敛速率
被引量：5
- 1
-
-
作者
黄鉴之
丁成诚
陶蔚
陶卿
-
机构
中国人民解放军陆军炮兵防空兵学院信息工程系
中国人民解放军陆军工程大学指挥控制工程学院
-
出处
《智能系统学报》
CSCD
北大核心
2020年第6期1140-1146,共7页
-
基金
国家自然科学基金项目(61673394,62076252).
-
文摘
Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得到体现。这里针对非光滑凸优化问题,通过巧妙选取动量和步长参数,证明了Adam的改进型具有最优的个体收敛速率,从而说明了Adam同时具有自适应和加速的优点。通过求解l_(1)范数约束下的hinge损失问题,实验验证了理论分析的正确性和在算法保持稀疏性方面的良好性能。
-
关键词
机器学习
AdaGrad算法
RMSProp算法
动量方法
Adam算法
AMSGrad算法
个体收敛速率
稀疏性
-
Keywords
machine learning
AdaGrad algorithm
RMSProp algorithm
momentum methods
Adam algorithm
AMSGrad algorithm
individual convergence rate
sparsity
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名一种三参数统一化动量方法及其最优收敛速率
被引量：1
- 2
-
-
作者
丁成诚
陶蔚
陶卿
-
机构
中国人民解放军陆军炮兵防空兵学院信息工程系
中国人民解放军陆军工程大学指挥控制工程学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2020年第8期1571-1580,共10页
-
基金
国家自然科学基金项目(61673394)
安徽省自然科学基金项目(1908085MF193)。
-
文摘
动量方法由于能够改善SGD(stochastic gradient descent)的收敛性能而倍受机器学习研究者的关注.随着其在深度学习的成功应用,动量方法出现了众多形式的变体.特别地,产生了SUM(stochastic unified momentum)和QHM(quasi-hyperbolic momentum)两种统一框架.但是,即使是对非光滑凸优化问题,其最优平均收敛性的获得仍然存在着固定迭代步数和无约束等不合理限制.为此,提出了一种更一般的含三参数的统一化动量方法TPUM(triple-parameters unified momentum),能够同时包含SUM和QHM;其次,针对约束的非光滑凸优化问题,在采取时变步长的条件下,证明了所提出的TPUM具有最优的平均收敛速率,并将其推广到随机情况,从而保证了添加动量不会影响标准梯度下降法的收敛性能以及动量方法对机器学习问题的可应用性.典型的L1范数约束hinge损失函数优化问题实验验证了理论分析的正确性.
-
关键词
机器学习
优化算法
非光滑条件
动量方法
平均收敛速率
-
Keywords
machine learning
optimization algorithm
non-smooth condition
momentum methods
average convergence rate
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
