基于Tensorflow对卷积神经网络的优化研究 被引量：18

1

作者 郭敏钢 宫鹤 《计算机工程与应用》 CSCD 北大核心 2020年第1期158-164,共7页

针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+... 针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异。针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在x负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish。通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验。实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高。 展开更多

关键词 Tensorflow CPU+GPU 卷积神经网络 Swish激活函数 relu激活函数 relu-Swish激活函数

下载PDF 职称材料

基于深度信念网络和多信息融合的复杂机电装备故障诊断方法 被引量：8

2

作者 刘秀丽 徐小力 《机床与液压》 北大核心 2019年第1期151-156,126,共7页

针对复杂机电装备故障诊断中存在的数据量大、提取故障特征困难等问题,结合深度学习理论强大的感知与自我学习能力,提出一种基于深度信念网络和多信息融合的复杂机电装备故障诊断方法。将多个传感器的原始时域信号数据输入深度信念网络... 针对复杂机电装备故障诊断中存在的数据量大、提取故障特征困难等问题,结合深度学习理论强大的感知与自我学习能力,提出一种基于深度信念网络和多信息融合的复杂机电装备故障诊断方法。将多个传感器的原始时域信号数据输入深度信念网络进行训练,通过反向微调学习对深度信念网络进行整体微调,提高分类准确性,同时在训练过程采用ReLu激活函数和加入Batch Normalization,减少过拟合出现概率的同时提高了网络收敛的速度。将此方法运用到复杂数控加工中心刀具的故障诊断中,结果表明该方法相比传统BPNN算法和采用Sigmoid激活函数的深度神经网络算法准确率更高。 展开更多

关键词 深度信念网络 复杂机电装备 relu激活函数 BATCH Normalization方法 故障诊断

下载PDF 职称材料

基于图像增强和注意力机制的作物杂草识别 被引量：3

3

作者 曲福恒 李婉婷 +2 位作者 杨勇 刘红玉 郝忠林 《计算机工程与设计》 北大核心 2023年第3期815-821,共7页

为提高复杂环境下无人机获取的作物杂草图像识别的准确率,提出一种基于图像增强与注意力机制的作物杂草识别方法。在多尺度Retinex算法中加入颜色恢复函数调节3个通道颜色的占比以恢复其颜色特征,使图像更清晰;将残差网络模型中的激活... 为提高复杂环境下无人机获取的作物杂草图像识别的准确率,提出一种基于图像增强与注意力机制的作物杂草识别方法。在多尺度Retinex算法中加入颜色恢复函数调节3个通道颜色的占比以恢复其颜色特征,使图像更清晰;将残差网络模型中的激活函数换为Leaky ReLU,加入CBAM注意力机制模块,获取更多有用信息,抑制其它无用信息。实验结果表明,该方法可以提高复杂环境下无人机获取的作物杂草图像的识别准确率,其准确率达到95.3%,高于AlexNet、ResNet18、ResNet50及其它主流算法的识别结果。 展开更多

关键词 无人机 作物杂草识别 多尺度RETINEX算法 颜色恢复函数 残差网络 Leaky relu激活函数 注意力机制

下载PDF 职称材料

基于多特征融合CNN的人脸识别算法研究 被引量：7

4

作者 罗金梅 罗建 +1 位作者 李艳梅 赵旭 《航空计算技术》 2019年第3期40-45,共6页

针对传统卷积网络结构或使用单一特征融合方法进行人脸识别存在特征提取不全、训练准确率低的问题,提出一种基于多特征融合卷积神经网络(CNN)的人脸识别算法。算法在LeNet5结构基础上,通过不同卷积层映射图融合、多个特征核映射图融合... 针对传统卷积网络结构或使用单一特征融合方法进行人脸识别存在特征提取不全、训练准确率低的问题,提出一种基于多特征融合卷积神经网络(CNN)的人脸识别算法。算法在LeNet5结构基础上,通过不同卷积层映射图融合、多个特征核映射图融合和浅层纹理的轮廓特征和深层高级特征相融合,增加输出通道数,进而提高图像整体的语义信息。针对relu激活函数在神经网络训练过程中丢失负轴信息的缺陷,算法引入leaky relu激活函数。通过在ORL、AR、FERET三个人脸库上分别对LeNet5卷积神经网络结构、单一特征融合与算法进行对比实验。实验结果表明:算法通过多特征融合提取的特征信息更广,识别准确率高于单一特征融合,引入leaky relu激活函数后,网络收敛效果更好,同时,对遮挡、光照等干扰具有鲁棒性。 展开更多

关键词 人脸识别 卷积神经网络(CNN) 多特征融合 leaky relu激活函数 人脸数据集

下载PDF 职称材料

ReLU激活函数深度网络的构造与逼近 被引量：1

5

作者 刘爱丽 陈志祥 《绍兴文理学院学报》 2024年第2期58-68,共11页

研究ReLU激活函数深度网络的构造与逼近问题.以一个在[-1,1]上对x^(2)具有指数逼近阶的深度ReLU网络作为子网络,构造逼近任意n次多项式的深度网络,并给出其逼近误差的上界估计.借助一元正交切比雪夫多项式、张量积理论和函数逼近的方法... 研究ReLU激活函数深度网络的构造与逼近问题.以一个在[-1,1]上对x^(2)具有指数逼近阶的深度ReLU网络作为子网络,构造逼近任意n次多项式的深度网络,并给出其逼近误差的上界估计.借助一元正交切比雪夫多项式、张量积理论和函数逼近的方法,构造二元正交多项式和两个输入的深度网络,同时得到了对二元连续函数的逼近估计. 展开更多

关键词 relu激活函数 逼近 切比雪夫多项式 深度网络

下载PDF 职称材料

基于改进的YOLOv5网络的舌象检测算法

6

作者 张杨 辛国江 +1 位作者 王鑫 朱磊 《计算机技术与发展》 2024年第2期156-162,共7页

针对目前舌象检测模型在自然状态下对舌象检测存在的误检和漏检的问题,以收集的舌象为研究对象,提出了一种基于YOLOv5的自然状态下的舌象检测算法。首先,将原有的SiLU激活函数替换为ReLu激活函数,减少指数运算,加速舌象检测网络收敛;然... 针对目前舌象检测模型在自然状态下对舌象检测存在的误检和漏检的问题,以收集的舌象为研究对象,提出了一种基于YOLOv5的自然状态下的舌象检测算法。首先,将原有的SiLU激活函数替换为ReLu激活函数,减少指数运算,加速舌象检测网络收敛;然后,利用Ghost轻量化模块技术,大幅降低舌象检测网络的参数量;最后,将SimAm注意力机制融入特征提取网络获取舌象特征,从多维度融合舌象特征,降低自然环境对舌象特征提取的影响。得到一个轻量化的舌象检测模型,在自制的数据集上分析可知:轻量化检测模型参数量达到7.8 MB,检测的精度达到96.6%,同时每秒处理帧数高达86帧,更适合自然状态下舌象的采集工作。实验结果表明,改进的舌象检测网络在自制舌象数据集上,相比于其它常用检测算法,性能指标上均有不同程度提升,对舌象的检测效果更好。 展开更多

关键词 舌象检测 YOLOv5 relu激活函数 轻量化 SimAm注意力机制

下载PDF 职称材料

基于IndRNN的机场起飞航班延误预测模型研究

7

作者 司毅洋 吕娜 《信息技术与信息化》 2024年第6期115-119,共5页

由于没有综合考虑天气等突发状况,导致航班延误预测结果存在一定的偏差,降低用户飞行体验,对此,提出基于IndRNN的机场起飞航班延误预测模型研究方法。起飞航班延误划分为4个等级,利用ReLU激活函数代替IndRNN网络中的sigmod、tanh激活函... 由于没有综合考虑天气等突发状况,导致航班延误预测结果存在一定的偏差,降低用户飞行体验,对此,提出基于IndRNN的机场起飞航班延误预测模型研究方法。起飞航班延误划分为4个等级,利用ReLU激活函数代替IndRNN网络中的sigmod、tanh激活函数,使得每个神经元都有其独立的时空特征;分离所有神经元,避免梯度出现消失爆炸的情况;经过数据读取、数据预处理、数据融合等一系列操作后,完成航班延误预测模型的构建。通过开展对比仿真实验,在4项评判指标下,所提方法均展现出了优秀的预测性能,且预测延误航班数、延误时间与实际值非常接近。 展开更多

关键词 IndRNN网络 起飞航班延误预测 relu激活函数 传播梯度 数据预处理

下载PDF 职称材料

基于改进CNN的苹果缺陷检测方法研究 被引量：1

8

作者 杜国真 卢明星 +1 位作者 季泽旭 刘继超 《食品与机械》 CSCD 北大核心 2023年第6期155-160,共6页

目的:解决现有苹果缺陷检测方法存在的精度低、效率差等问题。方法:基于水果图像采集系统,提出一种改进的卷积神经网络用于苹果表面缺陷检测;引入深度可分离卷积代换原网络标准卷积,提高特征提取速度;引入Leaky ReLU激活函数代替ReLU激... 目的:解决现有苹果缺陷检测方法存在的精度低、效率差等问题。方法:基于水果图像采集系统,提出一种改进的卷积神经网络用于苹果表面缺陷检测;引入深度可分离卷积代换原网络标准卷积,提高特征提取速度;引入Leaky ReLU激活函数代替ReLU激活函数,提高计算效率和精度;引入全局平均池化替换全连接层,降低网络模型的计算量;并在每层卷积后加入批量归一化层,通过试验与常规方法进行对比分析,验证其优越性。结果:与常规方法相比,所提方法在苹果缺陷检测中具有较高的检测准确率和速度,且模型参数量少,准确率达99.60%,检测速度(每秒帧数)达526,模型参数量为389 072。结论:该苹果缺陷检测方法能有效降低模型参数和检测时间,具有较高的准确率和速度。 展开更多

关键词 缺陷检测 苹果 卷积神经网络 深度可分离卷积 Leaky relu激活函数 全局平均池化

下载PDF 职称材料

基于卷积神经网络的磁瓦表面缺陷识别 被引量：4

9

作者 祝礼佳 刘桂华 林杰 《制造业自动化》 CSCD 北大核心 2022年第3期48-53,共6页

针对现有的磁瓦表面缺陷识别算法准确率低且泛化能力不足的问题,提出一种基于卷积神经网络的磁瓦表面缺陷识别算法。该算法在轻量级NASNet卷积神经网络的基础上,引入双线性模型增强网络的特征表达力,提高算法识别精度。其次,为了减少模... 针对现有的磁瓦表面缺陷识别算法准确率低且泛化能力不足的问题,提出一种基于卷积神经网络的磁瓦表面缺陷识别算法。该算法在轻量级NASNet卷积神经网络的基础上,引入双线性模型增强网络的特征表达力,提高算法识别精度。其次,为了减少模型参数量与计算量,改进NASNet模型结构进行特征降维。同时采用Adam算法作为网络的优化算法,提高训练过程的平稳性和收敛速度;选择Leaky ReLU函数作为网络的激活函数,提高模型的鲁棒性。考虑小样本磁瓦数据集,引入Dropout、样本增强、迁移学习技术防止网络过拟合,提高网络模型的泛化能力。实验结果表明,该算法实现了小样本多类别磁瓦表面缺陷的高精度识别,平均识别精度达到98.8%,与轻量级NASNet相比平均识别率提升约2.49%。 展开更多

关键词 缺陷识别 双线性模型 Leaky relu激活函数 Adam算法 NASNet

下载PDF 职称材料

基于卷积神经网络的SAR图像去噪新方法

10

作者 马智 田斌 《火控雷达技术》 2023年第1期15-20,共6页

本文针对SAR图像相干斑噪声提出一种基于卷积神经网络的SAR图像去噪新方法。把带噪SAR图像输入到本文设计的网络中,利用网络的卷积层提取SAR图像的深层特征,池化层进一步处理以使深层特征降维,再通过反卷积层得到与输入图像尺寸大小一... 本文针对SAR图像相干斑噪声提出一种基于卷积神经网络的SAR图像去噪新方法。把带噪SAR图像输入到本文设计的网络中,利用网络的卷积层提取SAR图像的深层特征,池化层进一步处理以使深层特征降维,再通过反卷积层得到与输入图像尺寸大小一样的结果,并将其与原无噪图像对比,以两者的误差作为神经网络优化器的输入,驱动网络更新各层参数使误差函数最小。为了缩短网络训练收敛的时间,引入ReLU激活函数和批归一化处理,经过少次训练后,网络输出的结果就能接近原始SAR图像。实测数据试验结果表明,与传统SAR-BM3D和SAR-NL去噪方法相比,新方法去噪能力更强,图像视觉效果更好。 展开更多

关键词 SAR图像去噪 卷积神经网络 relu激活函数 批归一化处理

下载PDF 职称材料

基于ResNet网络的东巴象形文字识别研究 被引量：4

11

作者 谢裕睿 董建娥 《计算机时代》 2021年第1期6-10,共5页

东巴象形文字是古代纳西族创造的文字,是世界文明的瑰宝。针对东巴象形文字传播的局限性,提出了基于图像处理和深度学习识别东巴文字的方法。文章通过构造恒等残差块和卷积残差块来搭建20层ResNet模型,采用随机梯度下降算法反向调整下... 东巴象形文字是古代纳西族创造的文字,是世界文明的瑰宝。针对东巴象形文字传播的局限性,提出了基于图像处理和深度学习识别东巴文字的方法。文章通过构造恒等残差块和卷积残差块来搭建20层ResNet模型,采用随机梯度下降算法反向调整下一轮迭代的卷积层权值,经过训练自动得到图像相关特征参数并进行识别。实验结果表明,该算法识别东巴文字的平均准确率达93.58%,具有较高的识别精度,取得了较好的识别效果,本研究可为东巴文字的保护工作提供参考和方法支持。 展开更多

关键词 东巴象形文字 二值化 relu激活函数 ResNet 随机梯度下降 特征提取

下载PDF 职称材料

基于CNN-ELM的SAR图像分类识别 被引量：4

12

作者 王鹏 张肖敏 白艳萍 《数学的实践与认识》 北大核心 2018年第23期75-80,共6页

针对传统卷积神经网络(CNN)中Sigmod激活函数求导计算量大,提取SAR图像特征效率不高的问题,本文将CNN中的Sigmod激活函数改进为Relu激活函数,并结合极限学习机(ELM)算法,提出了基于CNN-ELM算法的SAR图像识别算法,通过对SAR图像进行分类... 针对传统卷积神经网络(CNN)中Sigmod激活函数求导计算量大,提取SAR图像特征效率不高的问题,本文将CNN中的Sigmod激活函数改进为Relu激活函数,并结合极限学习机(ELM)算法,提出了基于CNN-ELM算法的SAR图像识别算法,通过对SAR图像进行分类识别的实验表明,该算法能实现网络的稀疏性,缓解过拟合问题,加快网络的收敛速度,并且具有更高的识别率. 展开更多

关键词 卷积神经网络 极限学习机 relu激活函数 SAR图像识别

原文传递

深度神经网络模型在洪水预报中的应用分析

13

作者 杨国瑞 冯美靖 张立男 《中文科技期刊数据库（全文版）自然科学》 2023年第11期38-42,共5页

本文基于TensorFlow深度学习框架,采用ReLU(Rectified linear unit)激活函数,以江西省禾水流域上沙兰水文站为例,构建深度神经网络水文预报模型,并充分应用降雨径流数据进行逐时预报。研究结果表明,模型预测精度较高,算法稳定,建立的深... 本文基于TensorFlow深度学习框架,采用ReLU(Rectified linear unit)激活函数,以江西省禾水流域上沙兰水文站为例,构建深度神经网络水文预报模型,并充分应用降雨径流数据进行逐时预报。研究结果表明,模型预测精度较高,算法稳定,建立的深度神经网络水文预报模型是合理可行的。模型具有预报速度快、算法稳定等优点,为水文预报提供数据支撑。 展开更多

关键词 水文预报 深度神经网络 TensorFlow relu激活函数

下载PDF 职称材料

残差密集块的卷积神经网络图像去噪 被引量：2

14

作者 李小艳 宋亚林 乐飞 《计算机系统应用》 2022年第10期166-174,共9页

针对加性高斯白噪声的图像信噪比低,图像细节丢失问题,结合现有卷积神经网络算法,提出了一种基于残差密集块的卷积神经网络图像去噪模型.该模型通过引入多级残差网络和密集连接,并对整体网络使用Leaky ReLU激活函数,去除不同等级强度噪... 针对加性高斯白噪声的图像信噪比低,图像细节丢失问题,结合现有卷积神经网络算法,提出了一种基于残差密集块的卷积神经网络图像去噪模型.该模型通过引入多级残差网络和密集连接,并对整体网络使用Leaky ReLU激活函数,去除不同等级强度噪声的同时,更好保留图像的有效信息,有效避免特征丢失.本文提出算法和深度卷积神经网络残差学习(DnCNN)模型对比,本文提出的模型在Set12和BSD68测试集上峰值信噪比平均提升了约0.12 dB,结构相似性平均提升了约0.0086,通过观察实验效果,表明该模型能够充分提取图像特征,保留图像细节,同时降低网络计算的复杂度. 展开更多

关键词 图像去噪 卷积神经网络(CNN) 残差学习 残差密集块 Leaky relu激活函数

下载PDF 职称材料

基于卷积神经网络的脐橙品质分类研究 被引量：3

15

作者 朱冬梅 王敏 《赣南师范大学学报》 2018年第6期25-28,共4页

为了解决脐橙样品差异大、分类难问题,文章利用卷积神经网络探讨脐橙品质分类问题.主要包含两方面的工作:首先构建脐橙品质分类数据集.其次,根据脐橙品质分类的高准确率和实时性需求,设计了包含2个卷积层、2个下采样层和1个全连接层的... 为了解决脐橙样品差异大、分类难问题,文章利用卷积神经网络探讨脐橙品质分类问题.主要包含两方面的工作:首先构建脐橙品质分类数据集.其次,根据脐橙品质分类的高准确率和实时性需求,设计了包含2个卷积层、2个下采样层和1个全连接层的卷积神经网络模型.将脐橙图片批量归一化,以ReLU为激活函数,Maxpooling为下采样方法,并采用Softmax回归分类器训练并优化卷积神经网络.实验结果表明本文提出的基于卷积神经网络的脐橙分类准确率达到94.8%,与现有最好的传统分类方法相比,准确率高出5.21%. 展开更多

关键词 脐橙品质分类 卷积神经网络 relu激活函数 Max-pooling下采样

下载PDF 职称材料

改进的卷积神经网络模型在人脸识别中的应用 被引量：2

16

作者 常英丽 张雪华 刘强 《电子制作》 2022年第24期42-45,共4页

为了避免传统机器学习算法进行人脸识别时存在的性能差、泛化能力弱等问题,现提出一种基于LeNet-5改进的卷积神经网络模型。该模型包含输入层、三个卷积和池化层、一个全连接层和输出层。每次卷积完,成后,都使用ReLU激活函数进行非线性... 为了避免传统机器学习算法进行人脸识别时存在的性能差、泛化能力弱等问题,现提出一种基于LeNet-5改进的卷积神经网络模型。该模型包含输入层、三个卷积和池化层、一个全连接层和输出层。每次卷积完,成后,都使用ReLU激活函数进行非线性映射来增强模型的拟合能力;每次最大池化完成后,都使用Dropout方法防止过拟合。运行结果表明改进的卷积神经网络模型对动态采集的人脸图像数据集进行模型训练和模型预测时,训练精度和预测精度都达到了99%,优于传统人脸识别算法,充分验证了改进的卷积神经网络模型的有效性。 展开更多

关键词 卷积神经网络模型 人脸识别 relu激活函数 Dropout方法

下载PDF 职称材料

基于深度神经网络与自动标记的人脸识别算法 被引量：2

17

作者 赵卫东 秦锋 《攀枝花学院学报》 2020年第5期67-73,共7页

为了解决当前实际场景人脸图像特征难识别,人脸图像库数据庞大而导致标记工作压力大的问题,本研究基于自动标记解决方案,对大数据人脸样本库进行自动标记,基于深度神经网络框架,对自动标记结果进行学习训练,形成精准识别机制。首先,采... 为了解决当前实际场景人脸图像特征难识别,人脸图像库数据庞大而导致标记工作压力大的问题,本研究基于自动标记解决方案,对大数据人脸样本库进行自动标记,基于深度神经网络框架,对自动标记结果进行学习训练,形成精准识别机制。首先,采集大数据人脸图像,为人脸识别做好数据训练准备。然后,结合直方图均衡化和OpenCV训练特征函数,实现人脸检测,达到提高标记工作效率和质量的目的。最后,从分析深度神经网络原理出发,有机组合隐藏层的激活函数,基于ReLU激活函数和优化训练策略,建立深度神经网络人脸识别机制。实验测试结果显示:本文算法有利于人脸高精度识别系统的落地,为智能人脸识别设备奠定算法基础。 展开更多

关键词 自动标记 人脸图像 直方图均衡化 深度神经网络 relu激活函数

下载PDF 职称材料

融合多种神经网络与多特征的答案排序方法

18

作者 王龙 段利国 李爱萍 《计算机工程与设计》 北大核心 2021年第3期846-852,共7页

针对答案排序问题,提出并构建融合多种神经网络与多特征的答案排序模型。将问题和候选答案的词向量送入使用Leaky Relu激活函数的卷积神经网络进行学习,得到的学习结果与词汇特征、主题特征等相互拼接,输入到双向门控循环单元,其输出结... 针对答案排序问题,提出并构建融合多种神经网络与多特征的答案排序模型。将问题和候选答案的词向量送入使用Leaky Relu激活函数的卷积神经网络进行学习,得到的学习结果与词汇特征、主题特征等相互拼接,输入到双向门控循环单元,其输出结果经由多层感知器进行处理后,通过softmax分类器得出最终答案排序的结果。实验结果表明,该模型在WikiQACorpus数据集上取得了较好实验结果,准确率略高于已有基线模型,达到74.43%。 展开更多

关键词 多特征 答案排序 Leaky relu激活函数 卷积神经网络 双向门控循环单元

下载PDF 职称材料

一种改进的深度神经网络的花卉图像分类 被引量：7

19

作者 吴迪 侯凌燕 +1 位作者 刘秀磊 李红臣 《河南大学学报（自然科学版）》 CAS 2019年第2期192-203,共12页

花卉图像类内差异性大和类间相似性高使得花卉图像分类较难.传统花卉分类方法和普通卷积神经网络很难完整地表达花卉图像的特征,故而分类效果不理想.为提高花卉分类准确率,提出改进的InceptionV3网络用于花卉图片的分类.采用迁移学习的... 花卉图像类内差异性大和类间相似性高使得花卉图像分类较难.传统花卉分类方法和普通卷积神经网络很难完整地表达花卉图像的特征,故而分类效果不理想.为提高花卉分类准确率,提出改进的InceptionV3网络用于花卉图片的分类.采用迁移学习的方法,将在大规模数据集上训练的InceptionV3网络用于花卉图像数据集的分类,对其中的激活函数进行改进.在通用Oxford flower-102数据集上的实验表明:该模型在花类图像分类任务中比传统方法和普通卷积神经网络分类准确率高,且比未改进的卷积神经网络准确率高,迁移过程准确率达到81.32%,微调过程准确率达到92.85%. 展开更多

关键词 迁移学习 InceptionV3网络结构 深度神经网络 Tanh-relu激活函数 数据增强 图像分类

原文传递