期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到5篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
一种改进的自适应动量梯度下降算法 被引量：4
1
作者 姜志侠 宋佳帅 刘宇宁 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第5期137-143,共7页
为改进Adam算法存在的全局收敛性较差的问题,提出一个带有角系数的AngleAdam算法.该算法利用两次连续梯度间的角度信息自适应控制步长,一定程度改进了Adam算法全局收敛性较差的问题,提升了优化能力.采用在线学习框架,对算法从遗憾界的... 为改进Adam算法存在的全局收敛性较差的问题,提出一个带有角系数的AngleAdam算法.该算法利用两次连续梯度间的角度信息自适应控制步长,一定程度改进了Adam算法全局收敛性较差的问题,提升了优化能力.采用在线学习框架,对算法从遗憾界的角度进行收敛性分析,证明了AngleAdam具有次线性的遗憾.基于构造的三个非凸函数和深度神经网络模型,对AngleAdam算法的优化能力进行实验,实验结果表明该算法可得到较好的优化结果. 展开更多
关键词 机器学习 梯度下降类算法 Adam算法 全局收敛性 遗憾界 角度信息
原文传递
动量余弦相似度梯度优化图卷积神经网络
2
作者 闫建红 段运会 《计算机工程与应用》 CSCD 北大核心 2024年第14期133-143,共11页
传统梯度下降算法仅对历史梯度进行指数加权累加,没有利用梯度的局部变化,造成优化过程越过全局最优解,即使收敛到最优解也会在最优解附近震荡,其训练图卷积神经网络会造成收敛速度慢、测试准确度低。利用相邻两次梯度的余弦相似度,动... 传统梯度下降算法仅对历史梯度进行指数加权累加,没有利用梯度的局部变化,造成优化过程越过全局最优解,即使收敛到最优解也会在最优解附近震荡,其训练图卷积神经网络会造成收敛速度慢、测试准确度低。利用相邻两次梯度的余弦相似度,动态调整学习率,提出余弦相似度梯度下降(SimGrad)算法。为进一步提升图卷积神经网络训练的收敛速度和测试准确度,减少震荡,结合动量思想提出动量余弦相似度梯度下降(NSimGrad)算法。通过收敛性分析,证明SimGrad算法、NSimGrad算法都具有O(√T)的遗憾界。在构建的三个非凸函数进行测试,并结合图卷积神经网络在四个数据集上进行实验,结果表明SimGrad算法保证了图卷积神经网络的收敛性,NSimGrad算法进一步提高图卷积神经网络训练的收敛速度和测试准确度,SimGrad、NSimGrad算法相较于Adam、Nadam具有更好的全局收敛性和优化能力。 展开更多
关键词 梯度下降类算法 余弦相似度 图卷积神经网络 遗憾界 全局收敛性
下载PDF
一种修正学习率的梯度下降算法 被引量：1
3
作者 姜文翰 姜志侠 孙雪莲 《长春理工大学学报（自然科学版）》 2023年第6期112-120,共9页
近年来,随着神经网络的广泛应用,梯度下降算法成为神经网络调整参数的核心优化算法。随着SGDM、AdaGrad、RMPprop、Adam等算法被提出,神经网络的性能有了极大的提升。为改善Adam算法由极端学习率引起的泛化能力较差问题,利用梯度的指数... 近年来,随着神经网络的广泛应用,梯度下降算法成为神经网络调整参数的核心优化算法。随着SGDM、AdaGrad、RMPprop、Adam等算法被提出,神经网络的性能有了极大的提升。为改善Adam算法由极端学习率引起的泛化能力较差问题,利用梯度的指数加权平均对Adam算法中学习率进行修正,提出了MonAdam算法。通过在线学习框架,说明MonAdam算法具有O(√T)的遗憾界。经过大量实验在多种非凸函数和深度神经网络模型中将MonAdam算法与其他算法进行对比,结果表明该算法收敛性较好。 展开更多
关键词 梯度下降算法 Adam算法 收敛性 遗憾界 学习率
下载PDF
基于稳定性分析的非凸损失函数在线点对学习的遗憾界
4
作者 郎璇聪 李春生 +1 位作者 刘勇 王梅 《计算机研究与发展》 EI CSCD 北大核心 2023年第12期2806-2813,共8页
点对学习(pairwise learning)是指损失函数依赖于2个实例的学习任务.遗憾界对点对学习的泛化分析尤为重要.现有的在线点对学习分析只提供了凸损失函数下的遗憾界.为了弥补非凸损失函数下在线点对学习理论研究的空白,提出了基于稳定性分... 点对学习(pairwise learning)是指损失函数依赖于2个实例的学习任务.遗憾界对点对学习的泛化分析尤为重要.现有的在线点对学习分析只提供了凸损失函数下的遗憾界.为了弥补非凸损失函数下在线点对学习理论研究的空白,提出了基于稳定性分析的非凸损失函数在线点对学习的遗憾界.首先提出了一个广义的在线点对学习框架,并给出了具有非凸损失函数的在线点对学习的稳定性分析;然后,根据稳定性和遗憾界之间的关系,对非凸损失函数下的遗憾界进行研究;最后证明了当学习者能够获得离线神谕(oracle)时,具有非凸损失函数的广义在线点对学习框架实现了最佳的遗憾界O(T-^(1/2)). 展开更多
关键词 在线点对学习 非凸 稳定性 遗憾界 离线优化神谕
下载PDF
领航者-跟随者集群系统的队形优化与控制
5
作者 陈明飞 王晓东 +2 位作者 宋勋 王东 王伟 《指挥与控制学报》 CSCD 2023年第6期709-716,共8页
针对集群系统中领航者-跟随者的队形优化问题,基于分布式优化理论,将最优队形问题建模为在线聚合优化问题.跟随者有一个与自身位置和集群中心位置相关的目标函数,并通过衡量一段时间内所有目标函数和收益制定最优决策.基于梯度下降法和... 针对集群系统中领航者-跟随者的队形优化问题,基于分布式优化理论,将最优队形问题建模为在线聚合优化问题.跟随者有一个与自身位置和集群中心位置相关的目标函数,并通过衡量一段时间内所有目标函数和收益制定最优决策.基于梯度下降法和动态平均一致性方法,提出一种固定步长分布式离散时间算法.采用矩阵放缩理论,证明动态遗憾界与常数项和在线时间相关.仿真实验证明算法的有效性. 展开更多
关键词 集群系统 队形优化 在线聚合优化 分布式算法 动态遗憾界
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部