期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到1篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于注意力机制和微分跟踪器的宽度学习系统
1
作者 廖律超 邹伟东 +3 位作者 杨佳龙 卢辉煌 夏元清 高建磊 《深圳大学学报（理工版）》 CAS CSCD 北大核心 2024年第5期583-593,共11页
宽度学习系统(broad learning system,BLS)具有模型结构简单、训练效率高、易于解释等优势,但存在特征学习能力不足以及泛化性能不稳定的缺点.为缓解此问题,提出一种基于自注意力机制和微分跟踪器(tracking differentiator,TD)的宽度学... 宽度学习系统(broad learning system,BLS)具有模型结构简单、训练效率高、易于解释等优势,但存在特征学习能力不足以及泛化性能不稳定的缺点.为缓解此问题,提出一种基于自注意力机制和微分跟踪器(tracking differentiator,TD)的宽度学习系统,记为A-TD-BLS.在模型结构上,A-TD-BLS在原始BLS模型的基础上引入了自注意力机制,通过注意力加权的方式对提取到的特征进行进一步的融合与变换,以提高原始BLS的特征学习能力.在训练算法上,提出一种基于TD的权重优化算法,通过限制权重值的大小有效地缓解了原始BLS模型的过拟合现象,显著降低了模型中隐藏层节点数量对模型性能的影响,使得模型泛化性能更加稳定.将该训练算法扩展到BLS模型的增量学习框架中,使得改进模型可以通过动态增加隐藏层节点的方式提升性能.在基准数据集上对A-TD-BLS进行多项试验,结果显示,相比原始BLS模型,在分类数据集上A-TD-BLS模型的分类准确率平均提升了1.27%,在回归数据集上A-TD-BLS模型的均方根误差平均降低了0.53,并且A-TD-BLS模型的泛化性能受隐藏层节点数量影响更小.A-TD-BLS模型提升了原始BLS模型泛化性能的稳定性,降低了模型性能对超参数的敏感程度,能够有效抑制过拟合现象. 展开更多
关键词 人工智能 宽度学习 自注意力机制 微分跟踪器 特征提取 增量学习
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部