-
题名基于权值动量的RBM加速学习算法研究
被引量：11
- 1
-
-
作者
李飞
高晓光
万开方
-
机构
西北工业大学电子信息学院
-
出处
《自动化学报》
EI
CSCD
北大核心
2017年第7期1142-1159,共18页
-
基金
国家自然科学基金(61305133
61573285)资助~~
-
文摘
动量算法理论上可以加速受限玻尔兹曼机(Restricted Boltzmann machine,RBM)网络的训练速度.本文通过对现有动量算法进行仿真研究,发现现有动量算法在受限玻尔兹曼机网络训练中加速效果较差,且在训练后期逐渐失去了加速性能.针对以上问题,本文首先基于Gibbs采样收敛性定理对现有动量算法进行了理论分析,证明了现有动量算法的加速效果是以牺牲网络权值为代价的;然后,本文进一步对网络权值进行研究,发现网络权值中包含大量真实梯度的方向信息,这些方向信息可以用来对网络进行训练;基于此,本文提出了基于网络权值的权值动量算法,最后给出了仿真实验.实验结果表明,本文提出的动量算法具有更好的加速效果,并且在训练后期仍然能够保持较好的加速性能,可以很好地弥补现有动量算法的不足.
-
关键词
深度学习
受限玻尔兹曼机
动量算法
权值动量
-
Keywords
Deep learning, restricted Boltzmann machine （RBM）, momentum algorithm, weight momentum
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名递归神经网络的设计与应用
被引量：3
- 2
-
-
作者
丛爽
陆婷婷
戴谊
-
机构
中国科学技术大学自动化系
-
出处
《计算机工程与应用》
CSCD
北大核心
2009年第4期79-81,97,共4页
-
基金
国家自然科学基金No.60774098~~
-
文摘
结合实例,给出了递归神经网络的完整设计步骤,包括网络结构的选定,学习算法的选择和网络参数的训练过程。重点研究了学习速率的初始值选取及其调整顺序。给出的递归网络的设计方法,可以适用于多种递归神经网络。
-
关键词
递归神经网络
学习速率
参数辨识
权值动量因子
-
Keywords
recurrent neural networks
learning rate
parameter identification
momentum factor of weight
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
