基于残差时空图神经网络的电力系统暂态稳定评估

1

作者 卢锦玲 周阳 +1 位作者 颜禄涵 张艺萱 《电力科学与工程》 2022年第9期54-64,共11页

针对传统数据驱动方法在用于电力系统暂态稳定评估时,由于未考虑到系统的时空变化特性而导致泛化能力不强的问题,提出了一种引入注意力机制的残差时空图神经网络方法。将电力系统的网络拓扑结构与电力系统量测数据相结合,引入时间注意... 针对传统数据驱动方法在用于电力系统暂态稳定评估时,由于未考虑到系统的时空变化特性而导致泛化能力不强的问题,提出了一种引入注意力机制的残差时空图神经网络方法。将电力系统的网络拓扑结构与电力系统量测数据相结合,引入时间注意力和空间注意力机制,从而提高了模型的泛化能力。为了解决训练过程中存在的梯度消失问题,引入残差结构,同时加快了训练速度。以10机39节点系统为算例进行仿真验证,结果表明,该模型能在部分节点未配置同步相量测量单元的情况下获得较好的评估结果;通过适当选取故障时刻采样数据,可以进一步提高模型的评估性能。 展开更多

关键词 电力系统暂态稳定评估 时空特性 残差时空图神经网络 注意力机制 泛化能力 梯度消失

下载PDF 职称材料

基于Dopout与ADAM优化器的改进CNN算法 被引量：109

2

作者 杨观赐 杨静 +1 位作者 李少波 胡建军 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2018年第7期122-127,共6页

在分析当前卷积神经网络模型特征提取过程中存在问题的基础上,提出了基于Dropout与ADAM优化器的改进卷积神经网络算法（MCNN-DA）.设计了二次卷积神经网络结构,通过引入基于Re LU的激活函数以避免梯度消失问题,提高收敛速度;通过在全连... 在分析当前卷积神经网络模型特征提取过程中存在问题的基础上,提出了基于Dropout与ADAM优化器的改进卷积神经网络算法（MCNN-DA）.设计了二次卷积神经网络结构,通过引入基于Re LU的激活函数以避免梯度消失问题,提高收敛速度;通过在全连接层和输出层之间加入Dropout层解决过拟合问题,并设计了ADAM优化器的最小化交叉熵.以MNIST和HCL2000数据集为测试数据,测试分析了ADAM优化器的不同学习率对算法性能的影响,得出当学习率处于0.04~0.08时,算法具有较好的识别性能.与三种算法的实验比较结果表明：本文算法的平均识别率最高可达99.21%;对于HCL2000测试集,本文算法的平均识别率比基于支持向量机优化的极速学习机算法提高了3.98%. 展开更多

关键词 卷积神经网络 激活函数 梯度消失 ADAM优化器 梯度饱和问题

原文传递

生成对抗网络研究综述 被引量：25

3

作者 邹秀芳 朱定局 《计算机系统应用》 2019年第11期1-9,共9页

自生成对抗网络GAN提出以后,现这一方向已成为人工智能方向的研究热点. GAN的思想采用二人零和博弈方法,由生成器和判别器构成,生成器负责生成样本分布,判别器则判别输入是真实样本还是生成样本,生成器和判别器不断交互优化,最终达到最... 自生成对抗网络GAN提出以后,现这一方向已成为人工智能方向的研究热点. GAN的思想采用二人零和博弈方法,由生成器和判别器构成,生成器负责生成样本分布,判别器则判别输入是真实样本还是生成样本,生成器和判别器不断交互优化,最终达到最优效果. GAN模型的提出无疑是很新颖的,但也存在很多缺点,比如梯度消失问题、模式崩溃等.随着研究的深入, GAN不断优化扩展, GAN的衍生模型也层出不穷. GAN可应用于不同领域,主要为计算机图像和视觉领域,在图像领域有着突出的效果,能生成高分辨率逼真的图像,能对图像进行修复、风格迁移等,也能生成视频并进行预测等. GAN也能生成文本,可以进行对话生成、机器翻译、语音生成等.同时,GAN在其他领域也有涉及,比如生成音乐、密码破译等.但是GAN在其他领域的应用效果并不显著,那么,如何提高GAN在其他领域的应用效果将值得深入研究,使生成对抗网络在人工智能方面大放异彩. 展开更多

关键词 生成对抗网络 梯度消失 模式崩溃 图像领域 风格迁移 机器翻译

下载PDF 职称材料

卷积神经网络中SPReLU激活函数的优化研究 被引量：9

4

作者 吴婷婷 许晓东 吴云龙 《计算机与数字工程》 2021年第8期1637-1641,共5页

由于激活函数本身的特性,使得卷积神经网络出现了梯度消失、神经元死亡、均值偏移、稀疏表达能力差等问题,针对这些问题,将“S”型激活函数和ReLU系激活函数进行了对比,分别讨论其优点和不足,并结合ReLU、PReLU和Softplus三种激活函数优... 由于激活函数本身的特性,使得卷积神经网络出现了梯度消失、神经元死亡、均值偏移、稀疏表达能力差等问题,针对这些问题,将“S”型激活函数和ReLU系激活函数进行了对比,分别讨论其优点和不足,并结合ReLU、PReLU和Softplus三种激活函数优点,提出了一种新型激活函数SPReLU。实验结果表明,SPReLU函数在性能上优于其他激活函数,收敛速度快,能有效降低训练误差,缓解梯度消失和神经元死亡等问题,能够有效地提高文本分类模型的准确性。 展开更多

关键词 卷积神经网络 激活函数 梯度消失 神经元死亡 ReLU

下载PDF 职称材料

引入辅助损失的多场景车道线检测 被引量：8

5

作者 陈立潮 徐秀芝 +1 位作者 曹建芳 潘理虎 《中国图象图形学报》 CSCD 北大核心 2020年第9期1882-1893,共12页

目的为解决实时车辆驾驶中因物体遮挡、光照变化和阴影干扰等多场景环境影响造成的车道线检测实时性和准确性不佳的问题,提出一种引入辅助损失的车道线检测模型。方法该模型改进了有效的残差分解网络(effcient residual factorized netw... 目的为解决实时车辆驾驶中因物体遮挡、光照变化和阴影干扰等多场景环境影响造成的车道线检测实时性和准确性不佳的问题,提出一种引入辅助损失的车道线检测模型。方法该模型改进了有效的残差分解网络(effcient residual factorized network,ERFNet),在ERFNet的编码器之后加入车道预测分支和辅助训练分支,使得解码阶段与车道预测分支、辅助训练分支并列,并且在辅助训练分支的卷积层之后,利用双线性插值来匹配输入图像的分辨率,从而对4条车道线和图像背景进行分类。通过计算辅助损失,将辅助损失以一定的权重协同语义分割损失、车道预测损失进行反向传播,较好地解决了梯度消失问题。语义分割得到每条车道线的概率分布图,分别在每条车道线的概率分布图上按行找出概率大于特定阈值的最大点的坐标,并按一定规则选取相应的坐标点,形成拟合的车道线。结果经过在CULane公共数据集上实验测试,模型在正常场景的F1指标为91.85%,与空间卷积神经网络(spatial convolutional neural network,SCNN)模型相比,提高了1.25%,比其他场景分别提高了1%~7%;9种场景的F1平均值为73.76%,比目前最好的残差网络———101-自注意力蒸馏(ResNet-101-self attention distillation,R-101-SAD)模型(71.80%)高出1.96%。在单个GPU上测试,每幅图像的平均运行时间缩短至原来的1/13,模型的参数量减少至原来的1/10。与平均运行时间最短的车道线检测模型ENet———自注意力蒸馏(ENetself attention distillation,ENet-SAD)相比,单幅图像的平均运行时间减短了2.3 ms。结论在物体遮挡、光照变化、阴影干扰等多种复杂场景下,对于实时驾驶车辆而言,本文模型具有准确性高和实时性好等特点。 展开更多

关键词 多场景车道线检测 语义分割网络 辅助损失 梯度消失 CULane数据集

原文传递

改进的深度置信网络在电主轴故障诊断中的应用 被引量：8

6

作者 李滨 曾辉 《机械科学与技术》 CSCD 北大核心 2021年第7期1051-1057,共7页

针对加工中心电主轴中滚动轴承等零部件容易出现故障或者失效等问题,即提出一种改进的DBN(深度置信网络)电主轴故障诊断方法。该方法对电主轴中滚动轴承运行故障状态下的振动信号进行特征提取,然后通过DBN映射出信号与故障特征的复杂关... 针对加工中心电主轴中滚动轴承等零部件容易出现故障或者失效等问题,即提出一种改进的DBN(深度置信网络)电主轴故障诊断方法。该方法对电主轴中滚动轴承运行故障状态下的振动信号进行特征提取,然后通过DBN映射出信号与故障特征的复杂关系来进行故障诊断。其中为提高训练DBN的效率以及解决在反向传播过程中梯度消失的问题,提出一种新型激活函数。研究结果表明,采用新型激活函数的DBN不仅降低了时间成本,同时也具有较高的故障识别的能力。 展开更多

关键词 电主轴 滚动轴承 特征提取 深度置信网络 激活函数 梯度消失 故障诊断

下载PDF 职称材料

基于MobileNet和NAM注意力机制的轻量级OpenPose网络 被引量：1

7

作者 王非 刘军 《通信与信息技术》 2023年第2期8-12,共5页

针对深度学习下的人体姿态识别技术,分析了OpenPose网络参数量巨大,容易产生梯度消失;MobileNet网络识别准确率较低等问题,研究了人体姿态识别、卷积神经网络以及注意力机制的工作原理。分析了OpenPose模型、ShuffleNet模型、GhostNet... 针对深度学习下的人体姿态识别技术,分析了OpenPose网络参数量巨大,容易产生梯度消失;MobileNet网络识别准确率较低等问题,研究了人体姿态识别、卷积神经网络以及注意力机制的工作原理。分析了OpenPose模型、ShuffleNet模型、GhostNet模型、MobileNet模型的卷积神经网络模型和NAM注意力机制的各自特点,提出了基于MobileNet网络和NAM注意力机制的人体姿态识别技术,解决了OpenPose网络参数量大运算和速率较低,MobileNet网络识别准确率较低等问题,通过实验对比识别准确率和识别速率,结果表明添加了NAM注意力机制的MobileNet网络具有识别精度高,识别速率快等特点。 展开更多

关键词 MobileNet网络 参数运算 梯度消失 注意力机制

下载PDF 职称材料

基于多尺度级联网络的水下图像增强方法 被引量：4

8

作者 米泽田 晋洁 +3 位作者 李圆圆 丁雪妍 梁政 付先平 《电子与信息学报》 EI CSCD 北大核心 2022年第10期3353-3362,共10页

针对水下图像由于光吸收、后向散射等因素导致的严重色偏、细节丢失等问题,该文提出一种基于多尺度级联网络的水下图像增强方法。针对单一网络特征利用不全面导致的图像梯度消失问题,该方法通过级联多尺度原始图像与相应的特征图像,以... 针对水下图像由于光吸收、后向散射等因素导致的严重色偏、细节丢失等问题,该文提出一种基于多尺度级联网络的水下图像增强方法。针对单一网络特征利用不全面导致的图像梯度消失问题,该方法通过级联多尺度原始图像与相应的特征图像,以获得更优异的细节保持效果,并实现从较浅层到较深层快速预测残差的能力。此外,引入联合密集网络块和递归块,通过特征重用有效解决多尺度网络参数过多的问题。为有效解决单一损失造成的图像细节恢复不均的问题,提出Charbonnier和结构相似度(SSIM)联合损失函数。经仿真实验分析,所提网络在处理水下图像严重色偏、细节丢失等方面都取得了显著的效果。 展开更多

关键词 水下图像增强 多尺度级联网络 多尺度特征提取 梯度消失

下载PDF 职称材料

多尺度特征融合的双判别器残差生成对抗网络

9

作者 管凤旭 路斯棋 郑岩 《智能系统学报》 CSCD 北大核心 2023年第5期917-925,共9页

生成对抗网络(generative adversarial networks, GANs)作为一类基于深度学习的无监督生成模型,无需对数据分布进行建模便可以生成真实且质量较高的图像。标准的GANs往往训练困难,常出现梯度消失、梯度爆炸或者模式崩溃等问题,限制模型... 生成对抗网络(generative adversarial networks, GANs)作为一类基于深度学习的无监督生成模型,无需对数据分布进行建模便可以生成真实且质量较高的图像。标准的GANs往往训练困难,常出现梯度消失、梯度爆炸或者模式崩溃等问题,限制模型的性能。为解决模式崩溃问题,本文提出一种双判别器结构来提高模型生成图像的多样性。另外,本文改进了生成器模型和判别器模型,提出一种基于残差网络和多尺度特征融合的生成器和基于多尺度特征融合的判别器,在提高生成图像质量的前提下解决深层网络出现的梯度消失、梯度爆炸的问题。将其应用于MNIST、LSUN、CelebA数据集上,训练结果稳定且生成图像质量较高,取得了令人满意的FID和IS值。 展开更多

关键词 生成对抗网络 深度学习 无监督模型 模式崩溃 梯度爆炸 梯度消失 多尺度特征融合 训练稳定性

下载PDF 职称材料

基于ABiGRU的铣刀磨损监测方法研究

10

作者 刘超 王宸 +1 位作者 张秀峰 鲁旭祥 《计量学报》 CSCD 北大核心 2023年第5期679-686,共8页

为了准确监测铣削加工过程中刀具磨损程度,提出了一种基于双向门控循环神经网络融合注意力机制(ABiGRU)的刀具磨损监测模型。在该监测模型中,通过对振动、力和声发射传感器采集到的时序数据进行时域、频域和时频域分析,使用spearman相... 为了准确监测铣削加工过程中刀具磨损程度,提出了一种基于双向门控循环神经网络融合注意力机制(ABiGRU)的刀具磨损监测模型。在该监测模型中,通过对振动、力和声发射传感器采集到的时序数据进行时域、频域和时频域分析,使用spearman相关系数提取与后刀面平均磨损量强相关的20维特征。引入ELU激活函数来优化BiGRU网络,解决梯度消失问题;利用内部注意力机制提升模型对于重要特征信息的捕捉能力,快速实现从特征到刀具磨损值的映射。通过与RNN、LSTM、GRU、BiLSTM和BiGRU进行的对比分析,结果表明:该模型能够准确地表征刀具磨损程度,并使模型的精度和效率得到了较大的提高。 展开更多

关键词 计量学 刀具磨损监测 双向门控循环神经网络 注意力机制 特征提取 ELU激活函数 梯度消失

下载PDF 职称材料

基于YOLOv4的小目标检测方法研究及应用

11

作者 伊力哈木·亚尔买买提 白鹏飞 《计算机工程与设计》 北大核心 2023年第1期277-283,共7页

为解决复杂施工场景下的小目标检测效果不佳和漏检问题,提出一种基于YOLOv4的改进算法。在检测网络中设计多尺度CAU和SAU上下文特征融合机制,利用全新的特征融合方式增强网络多尺度空间和通道信息表征,在此基础上改善网络特征融合性能... 为解决复杂施工场景下的小目标检测效果不佳和漏检问题,提出一种基于YOLOv4的改进算法。在检测网络中设计多尺度CAU和SAU上下文特征融合机制,利用全新的特征融合方式增强网络多尺度空间和通道信息表征,在此基础上改善网络特征融合性能。设计CSP_F跨阶段特征融合模块代替原有普通卷积块(CBL*5),防止检测网络梯度消失和网络参数计算量过大。改进模型类别损失函数并进行实验验证,其结果表明,改进算法能满足不同场景检测要求,对小目标有较好检测效果。 展开更多

关键词 小目标 YOLOv4 特征融合机制 CSP_F 梯度消失 参数计算量 损失函数

下载PDF 职称材料

基于卷积神经网络的手写数字图像识别方法 被引量：4

12

作者 杨栩 《绵阳师范学院学报》 2020年第2期35-39,共5页

本文使用深度神经网络算法对手写数字图像进行分类识别.该算法利用20个卷积层提取手写数字图像的特征向量,特征向量经过ReLU激活函数后被20个池化层进一步降低向量维度,最后通过softmax激活函数输出.结果表明,训练数据8000以上时识别率... 本文使用深度神经网络算法对手写数字图像进行分类识别.该算法利用20个卷积层提取手写数字图像的特征向量,特征向量经过ReLU激活函数后被20个池化层进一步降低向量维度,最后通过softmax激活函数输出.结果表明,训练数据8000以上时识别率会超过90%,训练次数8次以上识别率高于96%.结论:采用整流线性单元函数作为激活函数,有效解决了梯度消失问题和过拟合问题. 展开更多

关键词 降维 卷积神经网络 池化 整流线性单元函数 梯度消失

下载PDF 职称材料

基于2D DenseU-net的核磁共振海马体分割 被引量：2

13

作者 时佳丽 郭立君 +2 位作者 张荣 高琳琳 李小宝 《影像科学与光化学》 CAS 2019年第4期336-348,共13页

针对深层U-net网络易出现梯度消失以及存在特征重用率低的问题,本文提出一种2D DenseU-net海马体分割算法框架,融合了DenseNet和U-net两种网络结构。通过在U-net中构建当前层与前面所有层的密集连接,有效缓解了深层U-net易出现梯度消失... 针对深层U-net网络易出现梯度消失以及存在特征重用率低的问题,本文提出一种2D DenseU-net海马体分割算法框架,融合了DenseNet和U-net两种网络结构。通过在U-net中构建当前层与前面所有层的密集连接,有效缓解了深层U-net易出现梯度消失的问题,并加强了特征传播与特征复用;DenseU-net在发挥密集连接优势的同时,保持了U-net网络中下采样和上采样的长连接结构,有助于保存浅层信息。此外,针对海马体存在比例少、体积小、边缘不清晰等特点,本文对数据样本依次进行正样本数据增强、尺寸均等剪切以及去除无效样本、边缘采样的特殊处理,有效解决了正负样本失衡问题并强化了海马体细节信息,保证获取完整的特征用于网络训练。在公开数据集ADNI(Alzheimer's Disease Neuroimaging Initiative)上的实验结果表明,本文方法能够达到92.63%的平均分割Dice精度,优于传统的海马体分割方法以及目前流行的一些基于深度学习的海马体分割模型。 展开更多

关键词 U-net 梯度消失 DenseU-net 密集连接 海马体

下载PDF 职称材料

基于深度残差网络的图像混合噪声去除 被引量：1

14

作者 张福旺 苑会娟 《红外技术》 CSCD 北大核心 2019年第7期628-633,共6页

深度卷积神经网络的提出引发了图像处理算法的一系列突破。但是,使用更深入的网络并不总是有帮助,训练它们的巨大障碍是逐渐消失的梯度、大量增长的参数和过长的时间。本文提出了一种基于深度残差网络的图像混合噪声去除算法。通过全局... 深度卷积神经网络的提出引发了图像处理算法的一系列突破。但是,使用更深入的网络并不总是有帮助,训练它们的巨大障碍是逐渐消失的梯度、大量增长的参数和过长的时间。本文提出了一种基于深度残差网络的图像混合噪声去除算法。通过全局残差学习与局部残差学习,有效地解决了梯度消失与网络参数的增长,提升了模型对图像特征的选择与提取能力,减少了训练时间。实验结果表明,深度残差网络在图像混合噪声去除中效果显著,本文提出的算法得到的去噪图像更好地恢复图像的原始结构,信息丰富,对比度高,鲁棒性强,并且可以更好地保持图像的细节。 展开更多

关键词 深度残差网络 混合噪声去除 梯度消失 残差学习

下载PDF 职称材料

基于深度残差网络的人脸关键点检测 被引量：1

15

作者 李昊璇 王芬 《测试技术学报》 2019年第6期516-519,546,共5页

为了解决神经网络结构加深导致的梯度消失问题,本文提出一种将残差块应用于神经网络中的深度残差网络,使神经网络能更好地应用于人脸关键点检测.该深度残差网络共包含18层,残差块将网络的输出上叠加了y=x的恒等映射层,此方法可以使网络... 为了解决神经网络结构加深导致的梯度消失问题,本文提出一种将残差块应用于神经网络中的深度残差网络,使神经网络能更好地应用于人脸关键点检测.该深度残差网络共包含18层,残差块将网络的输出上叠加了y=x的恒等映射层,此方法可以使网络在深度增加的同时不退化.实验使用源自YouTube Faces的数据集进行68个人脸关键点检测,将使用残差块的网络与不使用残差块的网络进行比较,结果显示使用残差块的网络能够更快地收敛,并且提升了关键点检测精度. 展开更多

关键词 人脸关键点检测 卷积神经网络 残差网络 梯度消失 恒等映射

下载PDF 职称材料