期刊导航
期刊开放获取
cqvip
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于误差函数的自然梯度法及其在MLP学习中的应用
被引量:
2
1
作者
李伟令
魏海坤
张侃健
《东南大学学报(自然科学版)》
EI
CAS
CSCD
北大核心
2011年第B09期152-155,共4页
在激活函数选为误差函数的条件下,给出了求Fisher信息矩阵逆的算法,并进行仿真验证.首先将自然梯度法应用于多层感知器学习中,并与BP(back-propagation)算法进行了比较,说明了自然梯度法能够加快学习速度,并且可能避免学习中出现平坦区...
在激活函数选为误差函数的条件下,给出了求Fisher信息矩阵逆的算法,并进行仿真验证.首先将自然梯度法应用于多层感知器学习中,并与BP(back-propagation)算法进行了比较,说明了自然梯度法能够加快学习速度,并且可能避免学习中出现平坦区现象,即使出现平坦区,也不会很严重.仿真验证了自然梯度法上述良好的学习性能,并且它渐近的逼近Cramer-Rao下界,从而验证了自然梯度学习是Fisher优效的,而通常的梯度法则不是Fisher优效的.另外,仿真也证实了自然梯度对训练样本中存在的噪声具有很好的鲁棒性.
展开更多
关键词
自然梯度法
多层感知器
Fisher信息矩阵
Fisher优效
Cramer.Rao不等式
下载PDF
职称材料
题名
基于误差函数的自然梯度法及其在MLP学习中的应用
被引量:
2
1
作者
李伟令
魏海坤
张侃健
机构
东南大学自动化学院
出处
《东南大学学报(自然科学版)》
EI
CAS
CSCD
北大核心
2011年第B09期152-155,共4页
基金
国家自然科学基金资助项目(60875035)
江苏省自然科学基金资助项目(BK2008294)
高等学校博士学科点专项科研基金资助项目(201000921100200)
文摘
在激活函数选为误差函数的条件下,给出了求Fisher信息矩阵逆的算法,并进行仿真验证.首先将自然梯度法应用于多层感知器学习中,并与BP(back-propagation)算法进行了比较,说明了自然梯度法能够加快学习速度,并且可能避免学习中出现平坦区现象,即使出现平坦区,也不会很严重.仿真验证了自然梯度法上述良好的学习性能,并且它渐近的逼近Cramer-Rao下界,从而验证了自然梯度学习是Fisher优效的,而通常的梯度法则不是Fisher优效的.另外,仿真也证实了自然梯度对训练样本中存在的噪声具有很好的鲁棒性.
关键词
自然梯度法
多层感知器
Fisher信息矩阵
Fisher优效
Cramer.Rao不等式
Keywords
natural
gradient
descent
method
multi-layer
perceptrons
Fisher
information
matrix
Fisher
efficiency
Cramer-Rao
inequality
分类号
TP183 [自动化与计算机技术—控制理论与控制工程]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于误差函数的自然梯度法及其在MLP学习中的应用
李伟令
魏海坤
张侃健
《东南大学学报(自然科学版)》
EI
CAS
CSCD
北大核心
2011
2
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部