分布式在线交替方向乘子法 被引量：10

1

作者 许浩锋 凌青 《计算机应用》 CSCD 北大核心 2015年第6期1595-1599,1616,共6页

针对如何对分布式网络采集的数据进行在线学习的问题,提出了一种基于交替方向乘子法(ADMM)的分布式在线学习优化算法——分布式在线交替方向乘子法(DOM)。首先,针对分布式在线学习需要各节点根据新采集的数据来更新本地估计,同时保持网... 针对如何对分布式网络采集的数据进行在线学习的问题,提出了一种基于交替方向乘子法(ADMM)的分布式在线学习优化算法——分布式在线交替方向乘子法(DOM)。首先,针对分布式在线学习需要各节点根据新采集的数据来更新本地估计,同时保持网络中所有节点的估计趋于一致这一问题,建立了数学模型并设计DOM算法对其进行求解。其次,针对分布式在线学习问题定义了Regret界,用以表征在线估计的性能;证明了当本地即时损失函数是凸函数时,DOM算法是收敛的,并给出了其收敛速度。最后,通过数值仿真实验结果表明,相比现有的分布式在线梯度下降法(DOGD)和分布式在线自主学习算法(DAOL),所提出的DOM算法具有更快的收敛性能。 展开更多

关键词 交替方向乘子法 在线学习 分布式网络 优化算法 regret 界

下载PDF 职称材料

一种改进的自适应动量梯度下降算法 被引量：4

2

作者 姜志侠 宋佳帅 刘宇宁 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第5期137-143,共7页

为改进Adam算法存在的全局收敛性较差的问题,提出一个带有角系数的AngleAdam算法.该算法利用两次连续梯度间的角度信息自适应控制步长,一定程度改进了Adam算法全局收敛性较差的问题,提升了优化能力.采用在线学习框架,对算法从遗憾界的... 为改进Adam算法存在的全局收敛性较差的问题,提出一个带有角系数的AngleAdam算法.该算法利用两次连续梯度间的角度信息自适应控制步长,一定程度改进了Adam算法全局收敛性较差的问题,提升了优化能力.采用在线学习框架,对算法从遗憾界的角度进行收敛性分析,证明了AngleAdam具有次线性的遗憾.基于构造的三个非凸函数和深度神经网络模型,对AngleAdam算法的优化能力进行实验,实验结果表明该算法可得到较好的优化结果. 展开更多

关键词 机器学习 梯度下降类算法 Adam算法 全局收敛性 遗憾界 角度信息

原文传递

一种基于条件梯度的加速分布式在线学习算法

3

作者 吴庆涛 朱军龙 +1 位作者 葛泉波 张明川 《自动化学报》 EI CAS CSCD 北大核心 2024年第2期386-402,共17页

由于容易实施,基于投影梯度的分布式在线优化模型逐渐成为一种主流的在线学习方法.然而,在处理大数据应用时,投影步骤成为该方法的计算瓶颈.近年来,研究者提出了面向凸代价函数的分布式在线条件梯度算法,其悔界为O(T^(3/4)),其中T是一... 由于容易实施,基于投影梯度的分布式在线优化模型逐渐成为一种主流的在线学习方法.然而,在处理大数据应用时,投影步骤成为该方法的计算瓶颈.近年来,研究者提出了面向凸代价函数的分布式在线条件梯度算法,其悔界为O(T^(3/4)),其中T是一个时间范围.该算法存在两方面的问题,一是其悔界劣于公认的悔界O(/T);二是没有分析非凸代价函数的收敛性能,而实际应用中代价函数大部分是非凸函数.因此,提出一种基于条件梯度的加速分布式在线学习算法,使用Frank-Wolfe步骤替代投影步骤,避免昂贵的投影计算.文中证明当局部代价函数为凸函数时,所提算法达到公认的悔界O(/T);当局部代价函数为潜在非凸函数时,所提算法以速率O(/T)收敛到平稳点.最后,仿真实验验证了所提算法的性能与理论证明的结论. 展开更多

关键词 条件梯度 分布式在线学习 悔界 收敛速率

下载PDF 职称材料

一种修正学习率的梯度下降算法 被引量：1

4

作者 姜文翰 姜志侠 孙雪莲 《长春理工大学学报（自然科学版）》 2023年第6期112-120,共9页

近年来,随着神经网络的广泛应用,梯度下降算法成为神经网络调整参数的核心优化算法。随着SGDM、AdaGrad、RMPprop、Adam等算法被提出,神经网络的性能有了极大的提升。为改善Adam算法由极端学习率引起的泛化能力较差问题,利用梯度的指数... 近年来,随着神经网络的广泛应用,梯度下降算法成为神经网络调整参数的核心优化算法。随着SGDM、AdaGrad、RMPprop、Adam等算法被提出,神经网络的性能有了极大的提升。为改善Adam算法由极端学习率引起的泛化能力较差问题,利用梯度的指数加权平均对Adam算法中学习率进行修正,提出了MonAdam算法。通过在线学习框架,说明MonAdam算法具有O(√T)的遗憾界。经过大量实验在多种非凸函数和深度神经网络模型中将MonAdam算法与其他算法进行对比,结果表明该算法收敛性较好。 展开更多

关键词 梯度下降算法 Adam算法 收敛性 遗憾界 学习率

下载PDF 职称材料

分布式在线条件梯度优化算法 被引量：2

5

作者 李德权 董翘 周跃进 《计算机科学》 CSCD 北大核心 2019年第3期332-337,共6页

针对现有分布式在线优化算法所面临的高维约束难以计算的问题,提出一种分布式在线条件梯度优化算法(Distributed Online Conditional Gradient Optimization Algorithm,DOCG)。首先,通过多个体网络节点间的相互协作进行数据采集,并通过... 针对现有分布式在线优化算法所面临的高维约束难以计算的问题,提出一种分布式在线条件梯度优化算法(Distributed Online Conditional Gradient Optimization Algorithm,DOCG)。首先,通过多个体网络节点间的相互协作进行数据采集,并通过共享采集的信息更新局部估计,同时引入反映环境变化的局部即时损失函数。然后,该算法利用历史梯度信息进行加权平均,提出一种新的梯度估计方案,其用线性优化步骤替代投影步骤,避免了投影运算在高维约束时难以计算的问题。最后,通过分析表征在线估计性能的Regret界,证明了所提DOCG算法的收敛性。利用低秩矩阵填充问题进行仿真验证,结果表明,相比于现有分布式在线梯度下降法(DOGD),所提DOCG算法具有更快的收敛速度。 展开更多

关键词 条件梯度 无投影 分布式网络 在线学习 regret界

下载PDF 职称材料

带有微分项改进的自适应梯度下降优化算法 被引量：2

6

作者 葛泉波 张建朝 +1 位作者 杨秦敏 李宏 《控制理论与应用》 EI CAS CSCD 北大核心 2022年第4期623-632,共10页

梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过... 梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为■(√T).最后,通过在包括MNIST数据集以及CIFAR-10基准数据集上的仿真实验来验证新算法的有效性,结果表明新算法引入的微分项和自适应机制的联合模式能够有效地改善梯度下降算算法的收敛性能,从而实现算法性能的明显改善. 展开更多

关键词 卷积神经网络 梯度下降算法 微分项 权重更新 自适应学习率 悔界

下载PDF 职称材料

快速在线分布式对偶平均优化算法 被引量：1

7

作者 李德权 王俊雅 +1 位作者 马驰 周跃进 《计算机应用》 CSCD 北大核心 2018年第8期2337-2342,共6页

为提高分布式在线优化算法的收敛速度,对底层网络拓扑依次添边,提出一种快速的一阶分布式在线对偶平均优化(FODD)算法。首先,对于分布式在线优化问题,运用添边方法使所选的边与网络模型快速混合,进而建立数学模型并设计FODD算法对其进... 为提高分布式在线优化算法的收敛速度,对底层网络拓扑依次添边,提出一种快速的一阶分布式在线对偶平均优化(FODD)算法。首先,对于分布式在线优化问题,运用添边方法使所选的边与网络模型快速混合,进而建立数学模型并设计FODD算法对其进行优化求解。其次,揭示了网络拓扑和在线分布式对偶平均收敛速度之间的关系,通过提高底层拓扑网络的代数连通度改进了Regret界,将在线分布式对偶平均(ODDA)算法从静态网络拓展到时变网络拓扑上,并证明了FODD算法的收敛性,同时解析地给出了收敛速度。最后的数值仿真表明:和ODDA算法相比,所提出的FODD算法具有更快的收敛速度。 展开更多

关键词 分布式网络 在线分布式对偶平均 regret界 代数连通度 拉普拉斯矩阵

下载PDF 职称材料

分布式在线共轭对偶梯度算法

8

作者 吕净阁 《阜阳师范学院学报（自然科学版）》 2018年第4期63-68,共6页

针对如何对动态环境下的流数据进行实时处理的问题,研究了一种基于权重平衡和共轭对偶梯度算法(CDG)的分布式在线学习优化算法—分布式在线共轭对偶梯度算法(DO-CDG)。首先,针对分布式在线优化问题,在CDG算法的基础上建立了数学模型并... 针对如何对动态环境下的流数据进行实时处理的问题,研究了一种基于权重平衡和共轭对偶梯度算法(CDG)的分布式在线学习优化算法—分布式在线共轭对偶梯度算法(DO-CDG)。首先,针对分布式在线优化问题,在CDG算法的基础上建立了数学模型并设计了DO-CDG算法,并进行求解;其次,给出算法的Regret界用于表征在线算法的优劣性,证明了当本地损失函数是强凸函数时,DO-CDG算法的收敛性以及本地估计的Regret界关于时间的次线性;最后,经过数据仿真实验,证明了算法的收敛性。 展开更多

关键词 在线学习 regret界 分布式优化 权重平衡

下载PDF 职称材料

切换网络下加速分布式在线加权对偶平均算法

9

作者 王俊雅 《井冈山大学学报（自然科学版）》 2018年第4期6-10,共5页

研究了切换网络下加速分布式在线加权对偶平均算法,提出了A-DOWDA算法。首先利用加权因子对对偶变量进行加权,其次在有向切换网络是周期强连通,且对应的邻接矩阵是随机的而非双随机的条件下,加速了算法的收敛速率,最后通过数值实验验证... 研究了切换网络下加速分布式在线加权对偶平均算法,提出了A-DOWDA算法。首先利用加权因子对对偶变量进行加权,其次在有向切换网络是周期强连通,且对应的邻接矩阵是随机的而非双随机的条件下,加速了算法的收敛速率,最后通过数值实验验证了算法的可行性。 展开更多

关键词 分布式 加权 切换网络 对偶平均 regret界

下载PDF 职称材料

分布式在线随机投影优化

10

作者 王俊雅 《阜阳师范学院学报（自然科学版）》 2018年第3期4-7,共4页

针对分布式网络在线处理数据流的问题,提出了一种基于在线学习的分布式随机投影优化算法——分布式在线随机投影算法。在带有时延非平衡有向图上,成本函数是局部目标函数之和,且每个节点仅知道局部目标函数信息,并在分布式在线随机投影... 针对分布式网络在线处理数据流的问题,提出了一种基于在线学习的分布式随机投影优化算法——分布式在线随机投影算法。在带有时延非平衡有向图上,成本函数是局部目标函数之和,且每个节点仅知道局部目标函数信息,并在分布式在线随机投影算法作用下所有个体达成一致收敛。最后通过数值实验,验证了所提算法的有效性。 展开更多

关键词 分布式 在线 随机投影 regret界

下载PDF 职称材料

基于Bandit反馈的分布式在线对偶平均算法

11

作者 朱小梅 《四川轻化工大学学报（自然科学版）》 CAS 2020年第3期87-93,共7页

为解决梯度信息难以获取的分布式在线优化问题,提出了一种基于Bandit反馈的分布式在线对偶平均(DODA-B)算法。首先,该算法对原始梯度信息反馈进行了改进,提出了一种新的梯度估计,即Bandit反馈,利用函数值信息去近似原损失函数的梯度信息... 为解决梯度信息难以获取的分布式在线优化问题,提出了一种基于Bandit反馈的分布式在线对偶平均(DODA-B)算法。首先,该算法对原始梯度信息反馈进行了改进,提出了一种新的梯度估计,即Bandit反馈,利用函数值信息去近似原损失函数的梯度信息,克服了求解复杂函数梯度存在的计算量大等问题。然后,给出了该算法的收敛性分析,结果表明,Regret界的收敛速度为O(Tmax{k,1-k}),其中T是最大迭代次数。最后,利用传感器网络的一个特例进行了数值模拟计算,计算结果表明,所提算法的收敛速度与现有的分布式在线对偶平均(DODA)算法的收敛速度接近。与DODA算法相比,所提出算法的优点在于只考虑了函数值信息,使其更适用于梯度信息获取困难的实际问题。 展开更多

关键词 分布式在线优化 对偶平均算法 Bandit反馈 regret界

下载PDF 职称材料