-
题名基于改进对抗学习及融合特征的短文本分类框架
- 1
-
-
作者
宁召阳
申情
郝秀兰
赵康
-
机构
湖州师范学院长三角(湖州)智慧交通研究院
湖州师范学院浙江省现代农业资源智慧管理与应用研究重点实验室
湖州学院理工学院
-
出处
《计算机与现代化》
2024年第4期66-76,共11页
-
基金
浙江省杰出青年科学基金资助项目(LR20F020002)
湖州科技计划项目(2021C23003)。
-
文摘
在短文本分类中,由于短文本具有字数较少、存在歧义、关键信息少并且不易捕捉等特点,对其进行分类的算法模型在训练及推理时往往存在差异性,并且主流分类模型基本是在关键特征上进行建模而忽略了非关键特征信息,这加大了其在精确分类上面临的挑战。针对上述问题,本文提出一种结合多种对抗训练策略融合及改进自注意力机制的短文本分类框架。模型一开始在文本向量表示层面进行对字嵌入加入对抗扰动,强化文本表示能力,并在F1分数达到一定阈值后加入改进对模型权重的对抗扰动,强化模型在训练及推理时的泛化能力,从而辅助提高该框架各分类器的特征学习能力。在特征学习网络模块方面,本文利用多尺度卷积模块和双向长短期记忆神经网络相结合来学习不同粒度特征,为了学习不相邻的特征信息,引入空洞卷积,增大卷积感受野,设计一个门控机制来控制该层信息的学习速度;最后,通过加入一种新型注意力机制,建模关键信息的同时也建模了非关键特征信息,同时加入损失进行计算,增强模型学习特征信息的能力并降低过拟合的风险。在2个大型公开数据集THUCNews新闻标题数据集及今日头条新闻标题数据集测试显示,本文方法的F1分数相比于当前主流模型及经典模型分类效果最多提升了4.93个百分点及6.14个百分点,取得了不错的效果,本文还对加入权重扰动阈值和不同模块的有效性进行了对比及消融实验探究。
-
关键词
对抗训练
策略融合
空洞卷积
非关键信息
注意力机制
-
Keywords
adversarial training
strategy fusion
void convolution
non-critical information
attention mechanisms
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
