-
题名基于多头注意力机制的模型层融合维度情感识别方法
被引量：9
- 1
-
-
作者
董永峰
苏海洋
刘斌
陶建华
-
机构
河北工业大学人工智能与数据科学学院
中国科学院自动化研究所模式识别实验室
-
出处
《信号处理》
CSCD
北大核心
2021年第5期885-892,共8页
-
基金
国家重点研发计划(2017YFB1002804)
国家自然科学基金重点项目(61831022,61771472,61901473,61902106)
+1 种基金
天津市自然科学基金(19JCZDJC40000)
河北省自然科学基金(F2020202028)。
-
文摘
近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。
-
关键词
维度情感识别
多模态情感融合
模型层融合
多头注意力机制
-
Keywords
dimension emotion recognition
multimodal emotion fusion
model level fusion
Transformer
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
-
题名基于ConvLSTM网络的维度情感识别模型研究
被引量：3
- 2
-
-
作者
米珍美
赵恒斌
高攀
-
机构
石河子大学信息科学与技术学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2021年第18期289-296,共8页
-
基金
国家自然科学基金(61965014)
兵团优秀青年教师人才专项(ZK20160201)。
-
文摘
学业情绪能够影响和调节学习者的注意、记忆、思维等认知活动,情绪自动识别是智慧学习环境中情感交互和教学决策的基础。目前情绪识别研究主要集中在离散情绪的识别,其在时间轴上是非连续的,无法精准刻画学生学业情绪演变过程,为解决这个问题,基于众包方法建立真实在线学习情境中的中学生学习维度情感数据集,设计基于连续维度情感预测的深度学习分析模型。实验中根据学生学习风格确定触发学生学业情绪的学习材料,并招募32位实验人员进行自主在线学习,实时采集被试面部图像,获取157个学生学业情绪视频;对每个视频进行情感Arousal和Valence二维化,建立包含2178张学生面部表情的维度数据库;建立基于ConvLSTM网络的维度情感模型,并在面向中学生的维度情感数据库上进行实验,得到一致性相关系数(Concordance Correlation Coefficient,CCC)均值为0.581,同时在Aff-Wild公开数据集上进行实验,得到的一致相关系数均值为0.222。实验表明,提出的基于维度情感模型在Aff-Wild公开数据集维度情绪识别中CCC相关度系数指标提升了7.6%~43.0%。
-
关键词
连续维度情感识别
ConvLSTM
深度学习
学业情绪
维度情感数据库
-
Keywords
continuous dimension emotion recognition
ConvLSTM
deep learning
academic emotion
dimensional emotion database
-
分类号
TP3-05
[自动化与计算机技术—计算机科学与技术]
-
