题名 深度学习批归一化及其相关算法研究进展
被引量：65
1
作者
刘建伟 赵会丹 罗雄麟 许鋆
机构
中国石油大学(北京)自动化系 哈尔滨工业大学(深圳)机电工程与自动化学院
出处
《自动化学报》
EI
CSCD
北大核心
2020年第6期1090-1120,共31页
基金
国家重点研究发展计划基金(2016YFC0303703-03) 中国石油大学(北京)年度前瞻导向及培育项目基金(2462018QZDX02)资助。
文摘
深度学习已经广泛应用到各个领域,如计算机视觉和自然语言处理等,并都取得了明显优于早期机器学习算法的效果.在信息技术飞速发展的今天,训练数据逐渐趋于大数据集,深度神经网络不断趋于大型化,导致训练越来越困难,速度和精度都有待提升.2013年,Ioffe等指出训练深度神经网络过程中存在一个严重问题:中间协变量迁移(Internal covariate shift),使网络训练过程对参数初值敏感、收敛速度变慢,并提出了批归一化(Batch normalization,BN)方法,以减少中间协变量迁移问题,加快神经网络训练过程收敛速度.目前很多网络都将BN作为一种加速网络训练的重要手段,鉴于BN的应用价值,本文系统综述了BN及其相关算法的研究进展.首先对BN的原理进行了详细分析.BN虽然简单实用,但也存在一些问题,如依赖于小批量数据集的大小、训练和推理过程对数据处理方式不同等,于是很多学者相继提出了BN的各种相关结构与算法,本文对这些结构和算法的原理、优势和可以解决的主要问题进行了分析与归纳.然后对BN在各个神经网络领域的应用方法进行了概括总结,并且对其他常用于提升神经网络训练性能的手段进行了归纳.最后进行了总结,并对BN的未来研究方向进行了展望.
关键词
批归一化 白化 中间协变量迁移 随机梯度下降 归一化传播 批量重归一化 逐步归纳批量归一化 层归一化
Keywords
Batch normalization(BN) whitening internal covariate shift stochastic gradient descent (sgd )normalization propagation batch renormalization diminishing batch normalization layer normalization
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
题名 多级跳线连接的深度残差网络超分辨率重建
被引量：13
2
作者
赵小强 宋昭漾
机构
兰州理工大学电气工程与信息工程学院 甘肃省工业过程先进控制重点实验室 兰州理工大学国家级电气与控制工程实验教学中心
出处
《电子与信息学报》
EI
CSCD
北大核心
2019年第10期2501-2508,共8页
基金
国家科学自然基金(61763029,61873116)~~
文摘
由于快速的卷积神经网络超分辨率重建算法(FSRCNN)卷积层数少、相邻卷积层的特征信息之间缺乏关联性,因此难以提取到图像深层信息导致图像超分辨率重建效果不佳。针对此问题,该文提出多级跳线连接的深度残差网络超分辨率重建方法。首先,该方法设计了多级跳线连接的残差块,在多级跳线连接的残差块基础上构造了多级跳线连接的深度残差网络,解决相邻卷积层的特性信息缺乏关联性的问题;然后,使用随机梯度下降法(SGD)以可调节的学习率策略对多级跳线连接的深度残差网络进行训练,得到该网络超分辨率重建模型;最后,将低分辨率图像输入到多级跳线连接的深度残差网络超分辨率重建模型中,通过多级跳线连接的残差块得到预测的残差特征值,再将残差图像和低分辨率图像组合在一起转化为高分辨率图像。该文方法与bicubic,A+,SRCNN,FSRCNN和ESPCN算法在Set5和Set14测试集上进行了对比测试,在视觉效果和评价指标数值上该方法都优于其它对比算法。
关键词
超分辨率重建 深度残差网络 多级跳线连接的残差块 随机梯度下降法
Keywords
Super-resolution reconstruction Deep residual network Residual network with multi-level skip connections stochastic gradient descent (sgd )
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 深度学习时代图像融合技术进展
被引量：5
3
作者
左一帆 方玉明 马柯德
机构
江西财经大学信息管理学院 香港城市大学计算机学院
出处
《中国图象图形学报》
CSCD
北大核心
2023年第1期102-117,共16页
基金
国家自然科学基金项目(62071407,62132006,61901197) 深圳市科技创新基金项目(2021Szvup051)。
文摘
为提升真实场景视觉信号的采集质量,往往需要通过多种融合方式获取相应的图像,例如,多聚焦、多曝光、多光谱和多模态等。针对视觉信号采集的以上特性,图像融合技术旨在利用同一场景不同视觉信号的优势,生成单图像信息描述,提升视觉低、中、高级任务的性能。目前,依托端对端学习强大的特征提取、表征及重构能力,深度学习已成为图像融合研究的主流技术。与传统图像融合技术相比,基于深度学习的图像融合模型性能显著提高。随着深度学习研究的深入,一些新颖的理论和方法也促进了图像融合技术的发展,如生成对抗网络、注意力机制、视觉Transformer和感知损失函数等。为厘清基于深度学习技术的图像融合研究进展,本文首先介绍了图像融合问题建模,并从传统方法视角逐渐向深度学习视角过渡。具体地,从数据集生成、神经网络构造、损失函数设计、模型优化和性能评估等方面总结了基于深度学习的图像融合研究现状。此外,还讨论了选择性图像融合这类衍生问题建模(如基于高分辨率纹理图融合的深度图增强),回顾了一些基于图像融合实现其他视觉任务的代表性工作。最后,根据现有技术的缺陷,提出目前图像融合技术存在的挑战,并对未来发展趋势给出了展望。
关键词
图像融合 深度神经网络 随机梯度优化(sgd ) 图像质量评价 深度学习
Keywords
image fusion deep neural networks stochastic gradient descent (sgd )image quality assessment deep learning
分类号
TP37
[自动化与计算机技术—计算机系统结构]
题名 基于深度学习的自然环境下花朵识别
被引量：8
4
作者
郑玉龙 赵明
机构
中南大学软件学院
出处
《计算技术与自动化》
2019年第2期114-118,共5页
基金
国家自然科学基金资助项目(61572526)
文摘
基于自然环境下的花朵识别已经成为了现在园艺植物以及计算机视觉方面的交叉研究热点。本文的花朵图像数据集是利用手机直接在自然场景中当场拍摄的,采集了湖南省植物园内26种观赏花朵的2600幅图像,其中还包括同一品种不同类别相似度很高的杜鹃,郁金香等花朵。设计了一种由3个残差块组成的20层深度学习模型Resnet20,模型的优化算法结合了Adam的高效初始化以及Sgd优秀的泛化能力,该优化算法主要是根据每次训练批次以及learning rate来进行转换调整,实验结果表明比单独使用Adam算法正确率高4到5个百分点,比单独使用Sgd算法收敛更快。该模型在Flower26数据集上,通过数据增强识别率可达到96.29%,表明深度学习是一种很有前途的应用于花朵识别的智能技术。
关键词
深度卷积神经网络 残差网络 花朵识别 随机梯度下降
Keywords
deep convolutional neural network residual network(Resnet) flower recognition stochastic gradient descent (sgd )
分类号
TP391
[自动化与计算机技术—计算机应用技术]
S605
[自动化与计算机技术—计算机科学与技术]
题名 分布式随机方差消减梯度下降算法topkSVRG
被引量：5
5
作者
王建飞 亢良伊 刘杰 叶丹
机构
中国科学院软件研究所软件工程技术研发中心 中国科学院大学
出处
《计算机科学与探索》
CSCD
北大核心
2018年第7期1047-1054,共8页
基金
国家自然科学基金No.U1435220 北京市科技重大项目No.D171100003417002 民航科技重大专项No.MHRD20160109~~
文摘
机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(stochastic variance reduction gradient,SVRG)则可以达到线性的收敛率。SVRG是一种串行单机版算法,为了应对大规模数据集分布式训练问题,设计一种以SVRG算法思想为基础的分布式SVRG的实现算法topk SVRG。改进在于:主节点维护一个全局模型,从节点基于本地数据进行局部模型更新。每轮迭代时,选择与当前全局模型距离最小的k个局部模型进行平均来更新全局模型,参数k调大可以提高收敛速度,调小k可以保证收敛。理论分析了算法的线性收敛性,基于Spark进行算法实现,通过与Mini-Batch SGD、CoCoA、Splash及相关算法的实验比较,topkSVRG可以在高精度要求下更快地收敛。
关键词
机器学习 优化 随机梯度下降(sgd ) 随机方差消减梯度法(SVRG) 分布式计算
Keywords
machine learning optimization stochastic gradient descent （sgd ）stochastic variance reduction gradient （SVRG）distributed computing
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
题名 基于图片问答的静态重启随机梯度下降算法
被引量：5
6
作者
李胜东 吕学强
机构
中国人民大学信息学院 廊坊燕京职业技术学院计算机工程系 网络文化与数字传播北京市重点实验室(北京信息科技大学)
出处
《计算机研究与发展》
EI
CSCD
北大核心
2019年第5期1092-1100,共9页
基金
国家自然科学基金项目(61671070) 国家语委十三五科研规划2017年度重点项目(ZDI135-53) 网络文化与数字传播北京市重点实验室开放课题(ICDD201505)This work was~~
文摘
图片问答是计算机视觉与自然语言处理交叉的多模态学习任务.为了解决该任务,研究人员提出堆叠注意力网络(stacked attention networks, SANs).研究发现该模型易陷入不好的局部最优解,引发较高的问答错误率.为了解决该问题,提出基于图片问答的静态重启随机梯度下降算法.实验结果和分析表明:它的准确率比基准算法提高0.29%,但其收敛速度慢于基准算法.为了验证改善性能的显著性,对实验结果进行统计假设检验.T检验结果证明它的改善性能是极其显著的.为了验证它在同类算法中的有效性,将该算法和当前最好的一阶优化算法进行有效性实验,实验结果和分析证明它更有效.为了验证它的泛化性能和推广价值,在经典的Cifar-10数据集上进行图像识别实验.实验结果和T检验结果证明:它具有良好的泛化性能和较好的推广价值.
关键词
图片问答 堆叠的注意力网络 动量 静态重启 随机梯度下降
Keywords
image question answering stacked attention networks (SANs) momentum static restart stochastic gradient descent (sgd )
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 基于SVRGD的机载预警雷达自适应波束形成算法
被引量：3
7
作者
彭芳 吴军 王帅 向建军
机构
空军工程大学航空工程学院 空军工程大学空管领航学院
出处
《系统工程与电子技术》
EI
CSCD
北大核心
2021年第1期83-90,共8页
基金
航空基金(20175596020)资助课题。
文摘
自适应波束形成是机载预警雷达数字信号处理的一个关键环节。针对传统最小均方误差(least mean square,LMS)算法在短快拍数条件下的波束形成性能下降以及因迭代震荡易收敛于局部最优值的问题,提出了一种基于机器学习的随机方差减小梯度下降(stochastic variance reduction gradient descent,SVRGD)自适应波束形成方法。首先,建立面阵列接收信号数据模型。其次,基于随机梯度下降原理,引入方差缩减法通过内外循环迭代方式进行梯度修正,以减小随机梯度估计的方差,建立算法模型与实现流程。最后,通过设置平面阵列仿真场景,分析SVRGD自适应波束形成算法在波束形成、抗干扰、收敛速度等方面的性能,验证了该算法在低快拍数、强干扰和强噪声背景下具有的优良能力。
关键词
机载预警雷达 自适应波束形成 随机梯度下降 随机方差减小梯度下降 机器学习
Keywords
airborne early warning radar adaptive beamforming stochastic gradient descent (sgd )stochastic variance reduction gradient descent (SVRGD)machine learning
分类号
TN959.73
[电子电信—信号与信息处理]
题名 非均衡加权随机梯度下降SVM在线算法
被引量：3
8
作者
鲁淑霞 周谧 金钊
机构
河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室
出处
《计算机科学与探索》
CSCD
北大核心
2017年第10期1662-1671,共10页
基金
河北省自然科学基金No.F2015201185~~
文摘
随机梯度下降(stochastic gradient descent,SGD)方法已被应用于大规模支持向量机(support vector machine,SVM)训练,其在训练时采取随机选点的方式,对于非均衡分类问题,导致多数类点被抽取到的概率要远远大于少数类点,造成了计算上的不平衡。为了处理大规模非均衡数据分类问题,提出了加权随机梯度下降的SVM在线算法,对于多数类中的样例被赋予较小的权值,而少数类中的样例被赋予较大的权值,然后利用加权随机梯度下降算法对SVM原问题进行求解,减少了超平面向少数类的偏移,较好地解决了大规模学习中非均衡数据的分类问题。
关键词
随机梯度下降(sgd ) 权 非均衡数据 大规模学习 支持向量机(SVM)
Keywords
stochastic gradient descent (sgd ) weight imbalanced data large scale learning support vector machine(SVM)
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
题名 尺度和光照自适应的结构化多目标跟踪
9
作者
花湘 路红 彭俊 秦彬鑫 万文明 邱春
机构
南京工程学院
出处
《电光与控制》
CSCD
北大核心
2021年第4期29-33,共5页
基金
江苏省自然科学基金(BK20201043) 江苏省研究生实践创新计划项目(SJCX19-0510) +2 种基金 江苏省产学研合作项目(BY2018005) 南京工程学院产学研专项(CXY201930) 企业委托产学研合作横向项目(科18-092)。
文摘
针对复杂场景中光照变化、目标自身尺度变化等引起的目标丢失或误跟踪等问题,提出一种尺度和光照自适应的结构化多目标跟踪方法。利用多尺度Retinex算法对序列图像进行预处理;通过SPOT算法对多目标进行跟踪,以确定新一帧中各目标最优位置;采用判别型尺度空间跟踪算法训练尺度滤波器,以新一帧中各目标最优位置为中心,利用尺度滤波器的最大值确定新一帧中各目标的最优尺度;采用随机梯度下降法并结合双线性插值更新特征分类器的权重。实验结果表明,提出的多目标跟踪算法在应对场景光照和目标尺度变化等方面,具有良好的鲁棒性和准确性。
关键词
RETINEX算法 判别型尺度空间跟踪算法 随机梯度下降法 双线性插值
Keywords
Retinex algorithm Discriminant Scale Space Tracking(DSST) stochastic gradient descent (sgd )bilinear interpolation
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
题名 基于动态矩阵分解模型的电影推荐系统研究
被引量：3
10
作者
王璇 杜宇超 杜军 邹军
机构
南京信息职业技术学院电子信息工程学院 加州大学圣地亚哥分校电子与计算机工程系 中兴通讯股份有限公司 清华大学电机工程与应用电子技术系
出处
《电子器件》
CAS
北大核心
2022年第2期483-489,共7页
基金
国家级职业教育教师教学创新团队课题(YB2020080102) 江苏省职业教育教师教学创新团队支持项目(BZ150706)
文摘
推荐系统已成为电子商务企业吸引客户、实现盈利的有效技术支持,它能够根据用户的网络点击数据预测其偏好,做出个性化推荐。研究了一个基于动态矩阵分解模型的NETFLIX电影推荐系统。该系统通过训练一个来自NETFLIX平台、包含9000部电影历史评分的数据集进行预测评分。核心算法包括运用矩阵分解(Matrix Factorization,MF)建立有效的数据处理模型,以及使用随机梯度下降(Stochastic Gradient Descent,SGD)训练该模型。数据集采用稀疏矩阵存储,以节省空间。在训练过程中,对预测评分增加了特定的偏向值。该系统与市场同类产品相比拥有更高的预测准确度,并向电影观众推荐符合他们喜好的电影,能极大地提高电影观看票房值。
关键词
电影推荐系统 动态矩阵分解模型 随机梯度下降算法 稀疏矩阵 预测评分
Keywords
movie recommendation system dynamic matrix factorization(MF)model stochastic gradient descent (sgd )algorithmsparse matrices rating prediction
分类号
TP391.3
[自动化与计算机技术—计算机应用技术]
J943.12
[自动化与计算机技术—计算机科学与技术]
题名 面向停电分类预测的因子分解机模型
11
作者
冉懿 王润年 潘红伟 俞海猛 袁培森
机构
国网新疆电力有限公司营销服务中心 国电南瑞南京控制系统有限公司 南京农业大学人工智能学院
出处
《计算机工程》
CAS
CSCD
北大核心
2022年第5期98-103,111,共7页
基金
国家自然科学基金(61502236,61806097)。
文摘
可靠的电力供应对于工业生产和居民日常生活至关重要,通过对电力数据平台中的停电数据进行分析和挖掘,可以更好地了解配电网停电的潜在规律。分类预测是数据挖掘和分析中的常见技术,停电分类预测可以为企事业单位的停电规划安排提供决策参考。针对停电分类预测问题,提出一种基于因子分解机(FM)的停电数据分类预测模型。利用决策树算法计算停电数据中不同特征的基尼系数以得出重要性得分,从中筛选与停电预测关联度较大的非稀疏特征。根据不同地区的地理位置关系构建不同地区间的空间位置矩阵,并通过矩阵分解的方式构造不同地区在空间上的地理位置关联特征。为防止FM模型出现过拟合问题,在模型中加入L2-范数正则化。在此基础上,利用随机梯度下降的方法训练FM模型,通过训练完成的FM模型对停电数据进行分类预测。在真实停电数据集上的实验结果表明,该模型在训练数据集和测试数据集上的F1值和准确率分别高达0.90和0.89,优于DNN、SVM、XGBoost等模型。
关键词
停电分类预测 决策树 矩阵分解 因子分解机 随机梯度下降方法
Keywords
power outage classification prediction decision tree matrix decomposition Factorization Machine(FM) stochastic gradient descent (sgd )method
分类号
TP391
[自动化与计算机技术—计算机应用技术]
