梯度下降及优化算法研究综述被引量：6

下载PDF

导出

摘要梯度下降法是机器学习算法中广泛使用的方法,特别是在神经网络中。本文首先概述了梯度下降法和其三种实现框架,描述其优缺点。针对算法训练时间缓慢的缺陷,首先从最经典且主流的梯度下降优化算法开始介绍,阐述研究动机、基本思想、其解决的问题,最后对比流行的梯度下降优化算法进行实验分析。

作者王昕

机构地区盐城工学院

出处《电脑知识与技术》 2022年第8期71-73,共3页 Computer Knowledge and Technology

关键词梯度下降法机器学习优化算法发展方向

分类号 TP311 [自动化与计算机技术—计算机软件与理论]

引文网络
相关文献

参考文献4

1纪泽宇,张兴军,付哲,高柏松,李靖波.分布式深度学习框架下基于性能感知的DBS-SGD算法[J].计算机研究与发展,2019,56(11):2396-2409. 被引量：11
2刘宇翔,程禹嘉,陶卿.梯度有偏情形非光滑问题NAG的个体收敛性[J].软件学报,2020,31(4):1051-1062. 被引量：2
3谢涛,张春炯,徐永健.基于历史梯度平均方差缩减的协同参数更新方法[J].电子与信息学报,2021,43(4):956-964. 被引量：4
4宋杰,朱勇,许冰.批量减数更新方差缩减梯度下降算法BSUG[J].计算机工程与应用,2020,56(22):117-123. 被引量：6

二级参考文献10

1余凯,贾磊,陈雨强,徐伟.深度学习的昨天、今天和明天[J].计算机研究与发展,2013,50(9):1799-1804. 被引量：606
2陶卿,高乾坤,姜纪远,储德军.稀疏学习优化问题的求解综述[J].软件学报,2013,24(11):2498-2507. 被引量：22
3邵言剑,陶卿,姜纪远,周柏.一种求解强凸优化问题的最优随机算法[J].软件学报,2014,25(9):2160-2171. 被引量：11
4陶卿,马坡,张梦晗,陶蔚.机器学习随机优化方法的个体收敛性研究综述[J].数据采集与处理,2017,32(1):17-25. 被引量：6
5陶蔚,潘志松,朱小辉,陶卿.线性插值投影次梯度方法的最优个体收敛速率[J].计算机研究与发展,2017,54(3):529-536. 被引量：5
6陶蔚,潘志松,储德军,陶卿.使用Nesterov步长策略投影次梯度方法的个体收敛性[J].计算机学报,2018,41(1):164-176. 被引量：16
7王建飞,亢良伊,刘杰,叶丹.分布式随机方差消减梯度下降算法topkSVRG[J].计算机科学与探索,2018,12(7):1047-1054. 被引量：5
8赵小强,宋昭漾.多级跳线连接的深度残差网络超分辨率重建[J].电子与信息学报,2019,41(10):2501-2508. 被引量：13
9赵海涛,程慧玲,丁仪,张晖,朱洪波.基于深度学习的车联边缘网络交通事故风险预测算法研究[J].电子与信息学报,2020,42(1):50-57. 被引量：19
10周辉林,欧阳韬,刘健.基于随机平均梯度下降和对比源反演的非线性逆散射算法研究[J].电子与信息学报,2020,42(8):2053-2058. 被引量：3

共引文献18

1蒋平.基于卷积神经网络的图像精度深度优化[J].淮阴工学院学报,2021,30(3):30-34. 被引量：3
2杨国葳,李宏坤,张明亮,黄刚劲.基于一维深度卷积自动编码器的刀具状态监测方法[J].振动与冲击,2021,40(21):223-233. 被引量：4
3姜春英,丁美杰,孟向臻,叶长龙,王鹏,闫子龙.基于双路FNN网络的固体火箭发动机壳体内缝检测方法研究[J].电子测量技术,2021,44(18):143-149. 被引量：1
4郑雯,沈琪浩,任佳.基于Improved DR-Net算法的糖尿病视网膜病变识别与分级[J].光学学报,2021,41(22):64-75. 被引量：11
5宋美佳,贾鹤鸣,林志兴,卢仁盛,刘庆鑫.自适应学习率梯度下降的优化算法[J].三明学院学报,2021,38(6):36-44. 被引量：5
6杨小琴,朱玉全.基于距离限定优化的多姿态人脸图像智能识别[J].计算机仿真,2022,39(1):200-203. 被引量：2
7陇盛,陶蔚,张泽东,陶卿.基于AdaGrad的自适应NAG方法及其最优个体收敛性[J].软件学报,2022,33(4):1231-1243. 被引量：3
8吉梦,何清龙.AdaSVRG:自适应学习率加速SVRG[J].计算机工程与应用,2022,58(9):83-90. 被引量：2
9赵永亮,于倩,邓博,韩丽君,高红梅.基于博弈论及机器学习的最优化算法设计与仿真[J].电子设计工程,2022,30(13):23-27.
10李晓锋,燕少飞,吴宸.移动终端操作系统应用程序恶意检测系统技术研究[J].电子技术与软件工程,2022(17):75-79.

同被引文献44

1李宁,郭泽林,袁铁江,王永超,白银平,潘成龙,晏强.基于电力量测信息的低压台区电力拓扑生成方法[J].分布式能源,2020(5):48-55. 被引量：2
2李会玲,卜玮,张秀云,许凤娟,王大鹏.三级综合性医院平均住院日影响因素分析[J].中国医院管理,2014,34(4):41-43. 被引量：63
3赵国栋,梁睿,江夏进.一种附加阻抗法在测量配电网对地参数中的应用[J].电测与仪表,2014,51(8):65-68. 被引量：7
4薛安成,徐飞阳,游宏宇,徐劲松,Kenneth E.Martin,毕天姝.基于微型PMU的配电线路抗差参数辨识[J].电力自动化设备,2019,39(2):1-7. 被引量：15
5罗翔,席文明,颜景平.一种双目主动立体视觉系统的目标定位算法[J].东南大学学报（自然科学版）,2002,32(1):59-63. 被引量：9
6李江,徐志临,李国庆,高亚如,魏文震.配电网微型PMU与故障录波装置研究与开发[J].电力自动化设备,2016,36(9):54-59. 被引量：25
7李巍,吕乃光,董明利,娄小平.凸松弛全局优化机器人手眼标定[J].计算机应用,2017,37(5):1451-1455. 被引量：11
8黄凯,孟庆永,谢雨来,冯丹,秦磊华.基于Docker swarm集群的动态加权调度策略[J].计算机应用,2018,38(5):1399-1403. 被引量：6
9刘梅,高岑,田月,王嵩,刘璐.基于Docker Swarm集群的调度策略优化算法[J].计算机系统应用,2018,27(9):199-204. 被引量：9
10王旭东,王高猛,林济铿,康宁,丁一,刘辉.基于AMI量测信息的低压配电网线路参数辨识方法[J].中国电力,2019,52(5):63-69. 被引量：18

引证文献6

1庚硕,黄鹤妹,刘瑾,杨棋,段文厚,曹慧银.基于梯度下降法的医院平均住院日内部优化路径研究[J].中国医院管理,2022,42(12):47-49. 被引量：1
2常英丽,张雪华,刘强.改进的卷积神经网络模型在人脸识别中的应用[J].电子制作,2022,30(24):42-45. 被引量：2
3ASHIKUR RAHMAN MOHAMMAD,李军.基于Faster R-CNN的城市道路目标检测[J].电子技术与软件工程,2023(1):149-152. 被引量：1
4刘翔,李海荣.大数据平台下容器资源调度的优化算法研究[J].内蒙古科技大学学报,2023,42(1):29-34. 被引量：1
5岳有军,李勇飞,赵辉,王红君.双目视觉手眼标定的精度优化[J].组合机床与自动化加工技术,2023(7):162-165.
6张子桐,周群,佃钰林,官子超,印月,冷敏瑞,刘雪山.基于μPMU测量数据的配电网线路阻抗参数估计[J].中国电力,2023,56(8):157-165. 被引量：4

二级引证文献9

1陈奎,张海涛,卢佳月,葛国曙.我国省域医疗卫生服务供给效率及影响因素分析[J].中华医院管理杂志,2023,39(1):16-21. 被引量：1
2祖婷,余兴国.基于图像增强的人脸识别系统设计与实现[J].电脑知识与技术,2023,19(18):38-41.
3王璐,龚新奇.基于改进卷积神经网络的交通标志识别分类方法[J].中阿科技论坛（中英文）,2023(9):111-115.
4袁兆祥,肖智宏,王晶,于燕玲,黄炎,高星乐.考虑多时刻和压缩候选集合的配电网最小化采集优化方法[J].中国电力,2023,56(12):20-30. 被引量：1
5李晨涛,欧颖雅,季天瑶,张禄亮.基于分区和滑动时间窗策略的配电网线路参数辨识[J].智慧电力,2024,52(3):117-124. 被引量：1
6王可淇,钟俊,赵子涵.基于混合高斯模型的无相位线路阻抗参数估计方法[J].电工技术,2024(8):130-134.
7彭曙蓉,何洁妮,刘韬文,李彬,苏盛,壮婕.基于卫星图像的城区屋面分布式光伏潜力评估[J].太阳能学报,2024,45(5):517-526.
8彭雨舟,林有浩,邓炎,韩思维,何攻,卢继平,李渠佳.基于一二次融合设备的配电网含分支线路参数计算方法[J].智慧电力,2024,52(6):84-91.
9张魁.基于容器技术的大数据实训管理平台的研究[J].信息记录材料,2024,25(6):140-142.

1宋美佳,贾鹤鸣,林志兴,卢仁盛,刘庆鑫.自适应学习率梯度下降的优化算法[J].三明学院学报,2021,38(6):36-44. 被引量：5
2钱正成,陈睿,陆叶,李传起,周省邦,谢乙田,孔一卜.基于动量梯度下降优化算法的色散均衡器设计[J].光通信技术,2022,46(2):85-90.
3叶颖,周越.基于多尺度特征模仿的无监督异常定位算法[J].中国体视学与图像分析,2021,26(4):413-420. 被引量：1
4郑毅,胡祥培.基于时间光滑正则化的序列诊疗数据融合方法[J].管理科学,2021,34(4):61-70. 被引量：4
5严南,黄宇,王琼.基于深度学习的动态数据增量式挖掘方法[J].信息技术,2022,46(3):114-119. 被引量：3
6王飞.“慢科研”:内涵、意义与生成机理[J].现代大学教育,2022,38(1):93-103. 被引量：10

电脑知识与技术

2022年第8期

浏览历史

内容加载中请稍等...

梯度下降及优化算法研究综述被引量：6

参考文献4

二级参考文献10

共引文献18

同被引文献44

引证文献6

二级引证文献9

相关作者

相关机构

相关主题

浏览历史

梯度下降及优化算法研究综述 被引量：6

参考文献4

二级参考文献10

共引文献18

同被引文献44

引证文献6

二级引证文献9

相关作者

相关机构

相关主题

浏览历史

梯度下降及优化算法研究综述被引量：6