-
题名Heavy-Ball型动量方法的最优个体收敛速率
被引量：10
- 1
-
-
作者
程禹嘉
陶蔚
刘宇翔
陶卿
-
机构
中国人民解放军陆军炮兵防空兵学院信息工程系
中国人民解放军陆军工程大学指挥控制工程学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2019年第8期1686-1694,共9页
-
基金
国家自然科学基金项目(61673394)~~
-
文摘
动量方法作为一种加速技巧被广泛用于提高一阶梯度优化算法的收敛速率.目前,大多数文献所讨论的动量方法仅限于Nesterov提出的加速方法,而对Polyak提出的Heavy-ball型动量方法的研究却较少.特别,在目标函数非光滑的情形下,Nesterov加速方法具有最优的个体收敛性,并在稀疏优化问题的求解中具有很好的效果.但对于Heavy-ball型动量方法,目前仅仅获得了平均输出形式的最优收敛速率,个体收敛是否具有最优性仍然未知.对于非光滑优化问题,通过巧妙地设置步长,证明了Heavy-ball型动量方法具有最优的个体收敛速率,从而说明了Heavy-ball型动量方法可以将投影次梯度方法的个体收敛速率加速至最优.作为应用,考虑了l1范数约束的hinge损失函数优化问题.通过与同类的优化算法相比,实验验证了该理论分析的正确性以及所提算法在保持稀疏性方面的良好性能.
-
关键词
一阶梯度方法
动量方法
个体收敛速率
Heavy-ball方法
稀疏性
-
Keywords
first-order gradient methods
momentum methods
individual convergence rate
heavy-ball methods
sparsity
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
