深度学习应用技术研究 被引量：59

1

作者 毛勇华 桂小林 +1 位作者 李前 贺兴时 《计算机应用研究》 CSCD 北大核心 2016年第11期3201-3205,共5页

针对深度学习应用技术进行了研究性综述。详细阐述了RBM(受限玻尔兹曼机)逐层预训练后再用BP(反向传播)微调的深度学习贪婪层训练方法,对比分析了BP算法中三种梯度下降的方式,建议在线学习系统采用随机梯度下降,静态离线学习系统采用随... 针对深度学习应用技术进行了研究性综述。详细阐述了RBM(受限玻尔兹曼机)逐层预训练后再用BP(反向传播)微调的深度学习贪婪层训练方法,对比分析了BP算法中三种梯度下降的方式,建议在线学习系统采用随机梯度下降,静态离线学习系统采用随机小批量梯度下降;归纳总结了深度学习深层结构特征,并推荐了目前最受欢迎的五层深度网络结构设计方法。分析了前馈神经网络非线性激活函数的必要性及常用的激活函数优点,并推荐Re LU(rectified linear units)激活函数。最后简要概括了深度卷积神经网络、深度递归神经网络、长短期记忆网络等新型深度网络的特点及应用场景,归纳总结了当前深度学习可能的发展方向。 展开更多

关键词 受限玻尔兹曼机 深度神经网络 梯度下降 验证集 监督学习 贪婪层训练方法 深度学习 深度学习层次结构

下载PDF 职称材料

BP网络改进模型的性能对比研究 被引量：9

2

作者 李朝峰 屈颖歌 +1 位作者 夏德深 邹海 《计算机工程与应用》 CSCD 北大核心 2003年第19期120-121,132,共3页

文章通过实例对BP网络的几种代表性改进模型进行了性能对比研究。分析了BP网络基于标准梯度下降法和基于数值优化方法的算法改进和训练策略改进获得的代表性模型的优缺点,并结合遥感图像分类实例,对其收敛速度和分类效果进行了对比分析... 文章通过实例对BP网络的几种代表性改进模型进行了性能对比研究。分析了BP网络基于标准梯度下降法和基于数值优化方法的算法改进和训练策略改进获得的代表性模型的优缺点,并结合遥感图像分类实例,对其收敛速度和分类效果进行了对比分析,其结果可为BP网络模型的选择和改进提供一些思路和借鉴。 展开更多

关键词 BP网络 梯度下降法 数值优化 训练策略 性能对比

下载PDF 职称材料

基于S-BGD和梯度累积策略的改进深度学习方法及其在光伏出力预测中的应用 被引量：25

3

作者 黎静华 黄乾 +1 位作者 韦善阳 黄玉金 《电网技术》 EI CSCD 北大核心 2017年第10期3292-3299,共8页

为提高光伏出力的预测精度,提出了一种改进深度学习算法的光伏出力预测方法。首先,针对传统的深度学习算法采用批量梯度下降(batch gradient descent,BGD)法训练模型参数速度慢的问题,利用随机梯度下降(stochastic gradient descent,SGD... 为提高光伏出力的预测精度,提出了一种改进深度学习算法的光伏出力预测方法。首先,针对传统的深度学习算法采用批量梯度下降(batch gradient descent,BGD)法训练模型参数速度慢的问题,利用随机梯度下降(stochastic gradient descent,SGD)法训练快的优点,提出了一种改进的随机-批量梯度下降(stochastic-batch gradient descent,S-BGD)搜索方法,该方法兼具SGD和BGD的优点,提高了参数训练的速度。然后,针对参数训练过程中容易陷入局部最优点和鞍点的问题,借鉴运动学理论,提出了一种基于梯度累积(gradient pile,GP)的训练方法。该方法以累积梯度作为参数的修正量,可以有效地避免训练陷入局部点和鞍点,进而提高预测精度。最后,以澳大利亚艾丽斯斯普林光伏电站的数据为样本,将所提方法应用于光伏出力预测中,验证所提方法的有效性。 展开更多

关键词 光伏出力预测 深度学习算法 梯度下降法 梯度累积量 参数训练 神经网络 随机-批量梯度下降

下载PDF 职称材料

基于卷积网络的视频目标检测 被引量：3

4

作者 杨洁 陈灵娜 +2 位作者 林颖 陈宇韶 陈俊熹 《南华大学学报（自然科学版）》 2018年第4期61-68,共8页

针对传统卷积神经网络层级较为浅,对物体识别精确度较低的原因,利用改进的深层卷积网络VGG16模型检测视频运动目标.首先,预处理过程中对数据集进行剪裁和旋转操作,补充数据集数量,以解决前期图像资源不足等问题;其次,在PASCAL VOC数据... 针对传统卷积神经网络层级较为浅,对物体识别精确度较低的原因,利用改进的深层卷积网络VGG16模型检测视频运动目标.首先,预处理过程中对数据集进行剪裁和旋转操作,补充数据集数量,以解决前期图像资源不足等问题;其次,在PASCAL VOC数据集上先预训练模型,接着加载自定义视频数据集对预训练模型进行第二次训练.实验结果表明,该网络模型能很好用于视频目标识别,提高了检测精确度,有效减少网络参数计算量,降低硬件内存资源消耗,具有较强的鲁棒性. 展开更多

关键词 卷积神经网络 SGD梯度下降 视频目标检测 模型训练

下载PDF 职称材料

融合先验知识的深度学习模型快速训练方法 被引量：3

5

作者 王鹏鸣 何鸣 王红滨 《哈尔滨工程大学学报》 EI CAS CSCD 北大核心 2021年第4期561-566,共6页

为了提高深度学习神经网络的训练效率,本文提出基于模型训练先验知识进行神经网络训练优化的方法。在深度学习中参数同构的思想指导下,利用神经网络多次迭代的卷积层参数训练回归模型,并指导神经网络参数变化。实验表明:本文提出的方法... 为了提高深度学习神经网络的训练效率,本文提出基于模型训练先验知识进行神经网络训练优化的方法。在深度学习中参数同构的思想指导下,利用神经网络多次迭代的卷积层参数训练回归模型,并指导神经网络参数变化。实验表明:本文提出的方法可以在不修改原网络模型结构的同时显著降低模型在训练过程中引发的震荡现象;在保持模型分类准确率的情况下可以有效降低模型训练时间达到10%以上;该方法应用在深度越深的神经网络中,时间上的优化效果会越明显。 展开更多

关键词 先验知识 深度学习 神经网络 参数同构 回归模型 梯度下降 训练优化 损失震荡

下载PDF 职称材料

一种参数自适应的鲁棒性数字图像水印算法

6

作者 夏嵬 赵小厦 《信息与电脑》 2021年第24期70-72,共3页

数字水印技术作为保护版权的重要手段,在信息安全领域有着重要的地位。传统的数字水印算法的参数大多凭经验设定,达不到鲁棒性最佳的效果。本文根据图像和水印的容量自适应地在图像的低频区嵌入水印,并利用机器学习的梯度下降法对水印... 数字水印技术作为保护版权的重要手段,在信息安全领域有着重要的地位。传统的数字水印算法的参数大多凭经验设定,达不到鲁棒性最佳的效果。本文根据图像和水印的容量自适应地在图像的低频区嵌入水印,并利用机器学习的梯度下降法对水印算法的参数进行训练,使得含水印图像在不同攻击下恢复出的水印总体误码率相对最低,让参数能最大限度地接近最优值。实验证明,该算法不但对JPEG压缩、裁剪、噪声等常见攻击有较强的免疫力,而且对平移、旋转、缩放等几何攻击也具有较强的免疫力。 展开更多

关键词 自适应 梯度下降 训练 误码率

下载PDF 职称材料

基于梯度下降的脉冲神经网络训练算法

7

作者 徐梦遥 《现代计算机》 2021年第35期1-11,共11页

脉冲神经网络(SNN)作为第三代神经网络受到广泛关注,但因离散时间脉冲信号和神经元机制,缺乏有效的训练算法。本文设计了适用于梯度下降的拟脉冲激活函数和脉冲神经元迭代计算模型,以及用于数据转换处理的编码与解码层,在此基础上提出... 脉冲神经网络(SNN)作为第三代神经网络受到广泛关注,但因离散时间脉冲信号和神经元机制,缺乏有效的训练算法。本文设计了适用于梯度下降的拟脉冲激活函数和脉冲神经元迭代计算模型,以及用于数据转换处理的编码与解码层,在此基础上提出了一种适用于大型SNN的训练算法。与其他训练算法对比,该算法达到了更高的准确性,在MNIST和CIFAR10数据集上分别达到98.81%和70.78%的准确率,与ANN相比分别减少了22.18%和25.61%的功耗,脉冲序列的时间长度最大下降了750倍。 展开更多

关键词 脉冲神经网络 脉冲神经元模型 反向传播 梯度下降训练

下载PDF 职称材料

改进的径向基函数神经网络预测模型 被引量：10

8

作者 梁斌梅 韦琳娜 《计算机仿真》 CSCD 北大核心 2009年第11期191-194,共4页

在提高网络传输性能的研究中,径向基函数神经网络(RBF网络)的基函数个数、中心及宽度的确定一直是难解决的问题,为提高RBF网络泛化能力是当前一个重要的研究问题。分析了传统RBF网络工作原理及不足,提出了改进。采用梯度下降法训练径向... 在提高网络传输性能的研究中,径向基函数神经网络(RBF网络)的基函数个数、中心及宽度的确定一直是难解决的问题,为提高RBF网络泛化能力是当前一个重要的研究问题。分析了传统RBF网络工作原理及不足,提出了改进。采用梯度下降法训练径向基函数中心和宽度,提高网络泛化性能。改进最优停止训练算法,使算法效率提高,且避免过拟合现象,最终使RBF网络获得更优的泛化能力。用改进的RBF网络对iris及wine数据集建立预测模型,进行仿真。结果表明,梯度下降方法训练出更优的基函数参数,改进的最优停止训练方法缩短了训练时间、提高预测精度,网络泛化能力有明显提高。 展开更多

关键词 径向基函数神经网络 梯度下降法 最优停止训练法 泛化

下载PDF 职称材料

基于改进投影梯度下降算法的图卷积网络投毒攻击 被引量：4

9

作者 金柯君 于洪涛 +2 位作者 吴翼腾 李邵梅 操晓春 《计算机工程》 CAS CSCD 北大核心 2022年第10期176-183,共8页

图神经网络在面对节点分类、链路预测、社区检测等与图数据处理相关的任务时,容易受到对抗性攻击的安全威胁。基于梯度的攻击方法具有有效性和高效性,被广泛应用于图神经网络对抗性攻击,高效利用攻击梯度信息与求取离散条件下的攻击梯... 图神经网络在面对节点分类、链路预测、社区检测等与图数据处理相关的任务时,容易受到对抗性攻击的安全威胁。基于梯度的攻击方法具有有效性和高效性,被广泛应用于图神经网络对抗性攻击,高效利用攻击梯度信息与求取离散条件下的攻击梯度是攻击离散图数据的关键。提出基于改进投影梯度下降算法的投毒攻击方法。将模型训练参数看作与扰动相关的函数,而非固定的常数,在模型的对抗训练中考虑了扰动矩阵的影响,同时在更新攻击样本时研究模型对抗训练的作用,实现数据投毒与对抗训练两个阶段的结合。采用投影梯度下降算法对变量实施扰动,并将其转化为二进制,以高效利用攻击梯度信息,从而解决贪婪算法中时间开销随扰动比例线性增加的问题。实验结果表明,当扰动比例为5%时,相比Random、DICE、Min-max攻击方法,在Citeseer、Cora、Cora_ml和Polblogs数据集上图卷积网络模型被该方法攻击后的分类准确率分别平均降低3.27%、3.06%、3.54%、9.07%,在时间开销和攻击效果之间实现了最佳平衡。 展开更多

关键词 图卷积网络 对抗性攻击 投毒攻击 投影梯度下降 对抗训练

下载PDF 职称材料

基于BP神经网络的传感器无效数据过滤器设计

10

作者 王静文 王博文 《自动化仪表》 CAS 2023年第9期101-106,共6页

基于催化原理的传感器在矿井环境工作时,受内在外在因素的干扰,测量的可燃气体浓度值存在误差过大的问题。设计了基于列文伯格-马夸尔特(L-M)训练算法及反向传播(BP)神经网络的传感器无效数据过滤器。通过离线采集传感器响应特性曲线数... 基于催化原理的传感器在矿井环境工作时,受内在外在因素的干扰,测量的可燃气体浓度值存在误差过大的问题。设计了基于列文伯格-马夸尔特(L-M)训练算法及反向传播(BP)神经网络的传感器无效数据过滤器。通过离线采集传感器响应特性曲线数据的方式构建网络模型,并用Matlab工具对模型进行仿真训练。综合对比分析L-M训练算法、拟牛顿训练算法、自适应线性回归(LR)动量梯度下降训练算法的收敛速度和误差性能。对比结果表明,基于L-M训练算法构建的BP神经网络模型收敛速度更快、误差值更小、效率更高,有利于矿用催化原理传感器无效检测非线性数据的过滤。 展开更多

关键词 催化传感器 反向传播神经网络 拟牛顿训练算法 电桥原理 梯度下降训练算法

下载PDF 职称材料

融合对抗训练的中文GPT对话模型研究

11

作者 王伟 阮文翰 孟祥福 《辽宁工程技术大学学报（自然科学版）》 CAS 北大核心 2023年第3期378-384,共7页

在已清洗的中文会话数据集中进行预训练时存在对话模型泛化能力降低、微调后评价指标偏低的问题,为此采用对抗训练的方法,提出一种融合对抗训练的中文GPT对话模型。在微调过程中使用投影梯度下降法进行训练,使用Focal损失函数加快训练... 在已清洗的中文会话数据集中进行预训练时存在对话模型泛化能力降低、微调后评价指标偏低的问题,为此采用对抗训练的方法,提出一种融合对抗训练的中文GPT对话模型。在微调过程中使用投影梯度下降法进行训练,使用Focal损失函数加快训练速度。实验结果表明,融合对抗训练后,在有噪声的数据集微调和测试中,该模型与基线模型相比具有较强的抗干扰和泛化能力。 展开更多

关键词 生成对抗网络 投影梯度下降 对话生成 中文预训练对话模型 泛化能力

下载PDF 职称材料