-
题名基于重构双注意力网络的图文情感分析
- 1
-
-
作者
周乐善
冯锡炜
-
机构
辽宁石油化工大学人工智能与软件学院
-
出处
《计算机技术与发展》
2024年第12期157-164,共8页
-
基金
辽宁省教育厅面上项目(LJKMZ20220741)。
-
文摘
在传统的图文跨模态情感分析算法中,由于缺乏对视觉特征空间和通道的关注,往往容易造成局部特征关键信息的丢失,导致在特征融合阶段,不能很好地表示关键信息。因此,该文提出了基于重构双注意力网络的图文情感分析模型(Images-Text Sentiment Analysis Based on Reconstructed Dual Attention Networks Fusion, IRDA)。该模型在视觉特征提取中使用ResNet50获取视觉特征,同时引入空间和通道重构卷积模块,对视觉特征空间和通道位置信息进行重构,对不同位置的关键信息进行融合,加强视觉特征提取。在文本特征提取中使用BERT模型获取文本特征表示,并使用双向门控循环单元(Bi-GRU)关注低层次单词之间的上下文联系,进而增强文本语义特征。使用交互注意力机制关注模态间的特征交互,并进行视觉特征与文本特征融合,进而完成情感分类任务。该模型在MVSA多模态数据集上进行实验验证,实验结果表明该模型皆优于当前主流模型,证实了模型的有效性。
-
关键词
深度学习
多模态
交互注意力
BERT
重构单元卷积模块
卷积神经网络
情感分析
-
Keywords
deep learning
multimodal
interactive attention
BERT
reconstructing unit convolutional module
convolutional neural networks
sentiment analysis
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
