期刊导航
期刊开放获取
cqvip
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
非光滑凸情形Adam 型算法的最优个体收敛速率
被引量：
5
1
作者
黄
鉴
之
丁成诚
+1 位作者
陶蔚
陶卿
《智能系统学报》
CSCD
北大核心
2020年第6期1140-1146,共7页
Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得...
Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得到体现。这里针对非光滑凸优化问题,通过巧妙选取动量和步长参数,证明了Adam的改进型具有最优的个体收敛速率,从而说明了Adam同时具有自适应和加速的优点。通过求解l_(1)范数约束下的hinge损失问题,实验验证了理论分析的正确性和在算法保持稀疏性方面的良好性能。
展开更多
关键词
机器学习
AdaGrad算法
RMSProp算法
动量方法
Adam算法
AMSGrad算法
个体收敛速率
稀疏性
下载PDF
职称材料
自适应策略下Heavy-Ball型动量法的最优个体收敛速率
被引量：
1
2
作者
黄
鉴
之
陇盛
陶卿
《模式识别与人工智能》
EI
CSCD
北大核心
2021年第2期137-145,共9页
同时使用自适应步长和动量两种优化技巧的AMSGrad在收敛性分析方面存在比自适应步长算法增加一个对数因子的问题.为了解决该问题,文中在非光滑凸情形下,巧妙选取动量和步长参数,证明自适应策略下Heavy-Ball型动量法具有最优的个体收敛速...
同时使用自适应步长和动量两种优化技巧的AMSGrad在收敛性分析方面存在比自适应步长算法增加一个对数因子的问题.为了解决该问题,文中在非光滑凸情形下,巧妙选取动量和步长参数,证明自适应策略下Heavy-Ball型动量法具有最优的个体收敛速率,说明自适应策略下Heavy-Ball型动量法兼具动量的加速特性和自适应步长对超参数的低依赖性.求解l 1范数约束下的Hinge损失问题,验证理论分析的正确性.
展开更多
关键词
自适应步长算法
动量算法
AMSGrad
个体收敛速率
下载PDF
职称材料
题名
非光滑凸情形Adam 型算法的最优个体收敛速率
被引量：
5
1
作者
黄
鉴
之
丁成诚
陶蔚
陶卿
机构
中国人民解放军陆军炮兵防空兵学院信息工程系
中国人民解放军陆军工程大学指挥控制工程学院
出处
《智能系统学报》
CSCD
北大核心
2020年第6期1140-1146,共7页
基金
国家自然科学基金项目(61673394,62076252).
文摘
Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得到体现。这里针对非光滑凸优化问题,通过巧妙选取动量和步长参数,证明了Adam的改进型具有最优的个体收敛速率,从而说明了Adam同时具有自适应和加速的优点。通过求解l_(1)范数约束下的hinge损失问题,实验验证了理论分析的正确性和在算法保持稀疏性方面的良好性能。
关键词
机器学习
AdaGrad算法
RMSProp算法
动量方法
Adam算法
AMSGrad算法
个体收敛速率
稀疏性
Keywords
machine learning
AdaGrad algorithm
RMSProp algorithm
momentum methods
Adam algorithm
AMSGrad algorithm
individual convergence rate
sparsity
分类号
TP181 [自动化与计算机技术—控制理论与控制工程]
下载PDF
职称材料
题名
自适应策略下Heavy-Ball型动量法的最优个体收敛速率
被引量：
1
2
作者
黄
鉴
之
陇盛
陶卿
机构
中国人民解放军陆军炮兵防空兵学院信息工程系
出处
《模式识别与人工智能》
EI
CSCD
北大核心
2021年第2期137-145,共9页
基金
国家自然科学基金项目(No.61673394,62076252)资助。
文摘
同时使用自适应步长和动量两种优化技巧的AMSGrad在收敛性分析方面存在比自适应步长算法增加一个对数因子的问题.为了解决该问题,文中在非光滑凸情形下,巧妙选取动量和步长参数,证明自适应策略下Heavy-Ball型动量法具有最优的个体收敛速率,说明自适应策略下Heavy-Ball型动量法兼具动量的加速特性和自适应步长对超参数的低依赖性.求解l 1范数约束下的Hinge损失问题,验证理论分析的正确性.
关键词
自适应步长算法
动量算法
AMSGrad
个体收敛速率
Keywords
Adaptive Step-Size Algorithm
Momentum Algorithm
AMSGrad
Individual Convergence Rate
分类号
TP181 [自动化与计算机技术—控制理论与控制工程]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
非光滑凸情形Adam 型算法的最优个体收敛速率
黄
鉴
之
丁成诚
陶蔚
陶卿
《智能系统学报》
CSCD
北大核心
2020
5
下载PDF
职称材料
2
自适应策略下Heavy-Ball型动量法的最优个体收敛速率
黄
鉴
之
陇盛
陶卿
《模式识别与人工智能》
EI
CSCD
北大核心
2021
1
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
