-
题名基于双向掩码注意力机制的多模态情感分析
被引量：4
- 1
-
-
作者
张昱
张海军
刘雅情
梁科晋
王月阳
-
机构
新疆师范大学计算机科学技术学院
-
出处
《数据分析与知识发现》
CSCD
北大核心
2023年第4期46-55,共10页
-
基金
国家自然科学基金-新疆联合基金重点项目(项目编号:U1703261)
新疆维吾尔自治区天山雪松计划项目(项目编号:2019XS08)的研究成果之一。
-
文摘
【目的】为充分利用多模态信息,实现更有效的模态间交互,本文提出一种基于双向掩码注意力机制的多模态情感分析模型BMAM。【方法】该模型同时建模文本和语音两个模态,对于每个模态,掩码注意力通过引入另一个模态的信息来动态调整当前模态的注意力权值,从而获取更精准的模态表示。这些模态表示既保留了模态固有的独特性,又减少了与另一个模态的差异性,帮助模型实现最佳的情感决策。【结果】在通用的多模态情感分析数据集IEMOCAP上对模型进行评估验证,模型的情感分析加权准确率达到74.1%,相较于现有主流方法有明显提升。【局限】模型对数据集中占比较大的Neutral、Anger这两个情感类别有较高的识别效果,而对数据集中占比较小的Happy、Sad情感类别的识别性能较差。【结论】本文模型能有效利用多模态间的相互作用以合理调整模态自身情感元素间的注意力权重,实现更有效的情感决策。
-
关键词
多模态
情感分析
模态间交互
双向掩码注意力
-
Keywords
Multimodality
Sentiment Analysis
Inter-Modal Interaction
Bidirectional
Mask Attention
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
