-
题名神经网络的两种结构优化算法研究
被引量：11
- 1
-
-
作者
杨慧中
王伟娜
丁锋
-
机构
江南大学控制科学与工程研究中心
-
出处
《信息与控制》
CSCD
北大核心
2006年第6期700-704,710,共6页
-
基金
国家自然科学基金资助项目(60574051)
-
文摘
提出了一种基于权值拟熵的“剪枝算法”与权值敏感度相结合的新方法,在“剪枝算法”中将权值拟熵作为惩罚项加入目标函数中,使多层前向神经网络在学习过程中自动约束权值分布,并以权值敏感度作为简化标准,避免了单纯依赖权值大小剪枝的随机性.同时,又针对剪枝算法在优化多输入多输出网络过程中计算量大、效率不高的问题,提出了一种在级联—相关(cascade-correlation,CC)算法的基础上从适当的网络结构开始对网络进行构建的快速“构造算法”.仿真结果表明这种快速构造算法在收敛速度、运行效率乃至泛化性能上都更胜一筹.*
-
关键词
神经网络结构优化
剪枝算法
权值拟熵
权值敏感度
快速构造算法
泛化性能
-
Keywords
neural network structure optimization
pruning algorithm
pseudo-entropy of weights
weight sensitivity
fast constructive algorithm
generalization performance
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于权值拟熵的神经网络剪枝算法研究
- 2
-
-
作者
王伟娜
杨慧中
-
机构
江南大学控制科学与工程研究中心
-
出处
《计算机仿真》
CSCD
2006年第3期110-112,共3页
-
文摘
“剪枝算法”是一种通过简化神经网络结构来避免网络过拟合的有效方法之一。将权值拟熵作为惩罚项加入目标函数中,使多层前向神经网络在学习过程中自动约束权值分布,并以权值敏感度作为简化标准,避免了单纯依赖权值大小剪枝的随机性。由于在剪枝过程中只剪去数值小并且敏感度低的连接权,所以网络简化后不需要重新训练,算法效率明显提高。仿真结果证明上述方法算法简单易行,并且对前向神经网络的泛化能力有较好的改善作用。
-
关键词
多层前向神经网络
剪枝算法
目标函数
权值拟熵
权值敏感度
-
Keywords
Multilayer neural networks
Pruning algorithm
Objective function
Pseudo - entropy of weighats
Sensitivity of weights.
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
