-
题名方面级多模态协同注意图卷积情感分析模型
- 1
-
-
作者
王顺杰
蔡国永
吕光瑞
唐炜博
-
机构
桂林电子科技大学计算机与信息安全学院
广西可信软件重点实验室
大连海事大学信息科学技术学院
-
出处
《中国图象图形学报》
CSCD
北大核心
2023年第12期3838-3854,共17页
-
基金
国家自然科学基金项目(62366010)
广西可信软件重点实验室项目(Kx202060)
+1 种基金
广西研究生教育创新计划项目(YCSW2022286)
CCF—智谱大模型基金项目。
-
文摘
目的方面级多模态情感分析日益受到关注,其目的是预测多模态数据中所提及的特定方面的情感极性。然而目前的相关方法大都对方面词在上下文建模、模态间细粒度对齐的指向性作用考虑不够,限制了方面级多模态情感分析的性能。为了解决上述问题,提出一个方面级多模态协同注意图卷积情感分析模型(aspect-level multi⁃modal co-attention graph convolutional sentiment analysis model,AMCGC)来同时建模方面指向的模态内上下文语义关联和跨模态的细粒度对齐,以提升情感分析性能。方法AMCGC为了获得方面导向的模态内的局部语义相关性,利用正交约束的自注意力机制生成各个模态的语义图。然后,通过图卷积获得含有方面词的文本语义图表示和融入方面词的视觉语义图表示,并设计两个不同方向的门控局部跨模态交互机制递进地实现文本语义图表示和视觉语义图表示的细粒度跨模态关联互对齐,从而降低模态间的异构鸿沟。最后,设计方面掩码来选用各模态图表示中方面节点特征作为情感表征,并引入跨模态损失降低异质方面特征的差异。结果在两个多模态数据集上与9种方法进行对比,在Twitter-2015数据集中,相比于性能第2的模型,准确率提高了1.76%;在Twitter-2017数据集中,相比于性能第2的模型,准确率提高了1.19%。在消融实验部分则从正交约束、跨模态损失、交叉协同多模态融合分别进行评估,验证了AMCGC模型各部分的合理性。结论本文提出的AMCGC模型能更好地捕捉模态内的局部语义相关性和模态之间的细粒度对齐,提升方面级多模态情感分析的准确性。
-
关键词
多模态情感分析
方面级情感分析
图卷积
正交约束的自注意力机制
跨模态协同注意
方面掩码
-
Keywords
multimodal sentiment analysis
aspect-level sentiment analysis
graph convolution
self-attention mechanism for orthogonal constraints
cross-modal co-attention
aspect mask
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
