为了提升泄露积分型回声状态网(Leaky integrator echo state network,Leaky-ESN)的性能,提出利用罚函数内点法优化Leaky-ESN的全局参数,如泄漏率、内部连接权矩阵谱半径、输入比例因子等,这克服了通过反复试验法选取参数值而降低了Leak...为了提升泄露积分型回声状态网(Leaky integrator echo state network,Leaky-ESN)的性能,提出利用罚函数内点法优化Leaky-ESN的全局参数,如泄漏率、内部连接权矩阵谱半径、输入比例因子等,这克服了通过反复试验法选取参数值而降低了Leaky-ESN模型的优越性和性能.Leaky-ESN的全局参数必须保障回声状态网满足回声状态特性,因此它们之间存在不等式约束条件.有学者提出利用随机梯度下降法来优化内部连接权矩阵谱半径、输入比例因子、泄露率三个全局参数,一定程度上提高了Leaky-ESN的逼近精度.然而,随机梯度下降法是解决无约束优化问题的基本算法,在利用随机梯度下降法优化参数时,没有考虑参数必须满足回声特性的约束条件(不等式约束条件),致使得到的参数值不是最优解.由于罚函数内点法可以求解具有不等式约束的最优化问题,应用范围广,收敛速度较快,具有很强的全局寻优能力.因此,本文提出利用罚函数内点法优化Leaky-ESN的全局参数,并以时间序列预测为例,检验优化后的Leaky-ESN的预测性能,仿真结果表明了本文提出方法的有效性.展开更多
Di Pillo和Grippo提出的含参数C＞O的增广Lagrangian函数中,使用了最大函数,该函数可能在无穷多个点处不可微．为了克服这个问题,濮定国在2004年提出了一类带新的NCP函数的乘子法．该方法在增广Lagrangian函数和原问题之间存在很好的等...Di Pillo和Grippo提出的含参数C＞O的增广Lagrangian函数中,使用了最大函数,该函数可能在无穷多个点处不可微．为了克服这个问题,濮定国在2004年提出了一类带新的NCP函数的乘子法．该方法在增广Lagrangian函数和原问题之间存在很好的等价性；同时该方法具有全局收敛性,且在适当假设下,具有超线性收敛率．但是在该方法中,要求参数C充分大．为了实现算法及提高算法效率,本文给出了一个有效选择参数C的方法．展开更多
文摘为了提升泄露积分型回声状态网(Leaky integrator echo state network,Leaky-ESN)的性能,提出利用罚函数内点法优化Leaky-ESN的全局参数,如泄漏率、内部连接权矩阵谱半径、输入比例因子等,这克服了通过反复试验法选取参数值而降低了Leaky-ESN模型的优越性和性能.Leaky-ESN的全局参数必须保障回声状态网满足回声状态特性,因此它们之间存在不等式约束条件.有学者提出利用随机梯度下降法来优化内部连接权矩阵谱半径、输入比例因子、泄露率三个全局参数,一定程度上提高了Leaky-ESN的逼近精度.然而,随机梯度下降法是解决无约束优化问题的基本算法,在利用随机梯度下降法优化参数时,没有考虑参数必须满足回声特性的约束条件(不等式约束条件),致使得到的参数值不是最优解.由于罚函数内点法可以求解具有不等式约束的最优化问题,应用范围广,收敛速度较快,具有很强的全局寻优能力.因此,本文提出利用罚函数内点法优化Leaky-ESN的全局参数,并以时间序列预测为例,检验优化后的Leaky-ESN的预测性能,仿真结果表明了本文提出方法的有效性.
基金国家重点基础研究发展规划( 973)( the National Grand Fundamental Research 973 Program of China under Grant No.2004CCA02500)国家自然科学基金( the National Natural Science Foundation of China under Grant No.60572015) 湖北省教育厅优秀中青年人才项目( No.Q200726003)
