-
题名多文化场景下的多模态情感识别
被引量：9
- 1
-
-
作者
陈师哲
王帅
金琴
-
机构
中国人民大学信息学院
-
出处
《软件学报》
EI
CSCD
北大核心
2018年第4期1060-1070,共11页
-
基金
国家重点研发计划(2016YFB1001200)~~
-
文摘
自动情感识别是一个非常具有挑战性的课题,并且有着广泛的应用价值.探讨了在多文化场景下的多模态情感识别问题.从语音声学和面部表情等模态分别提取了不同的情感特征,包括传统的手工定制特征和基于深度学习的特征,并通过多模态融合方法结合不同的模态,比较不同单模态特征和多模态特征融合的情感识别性能.在CHEAVD中文多模态情感数据集和AFEW英文多模态情感数据集进行实验,通过跨文化情感识别研究,验证了文化因素对于情感识别的重要影响,并提出3种训练策略提高在多文化场景下情感识别的性能,包括:分文化选择模型、多文化联合训练以及基于共同情感空间的多文化联合训练,其中,基于共同情感空间的多文化联合训练通过将文化影响与情感特征分离,在语音和多模态情感识别中均取得最好的识别效果.
-
关键词
情感识别
多文化场景
语音情感特征
面部表情特征
多模态融合
深度卷积神经网络
-
Keywords
emotion recognition
multi-cultural condition
acoustic emotion feature
facial expression feature
multimodal fusion
deepconvolutional neural networks
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于声学上下文的语音情感特征提取与分析
被引量：3
- 2
-
-
作者
白李娟
赵小蕾
毛启容
吴宝凤
-
机构
江苏大学计算机科学与通信工程学院
中国联合网络通信有限公司江西分公司
-
出处
《小型微型计算机系统》
CSCD
北大核心
2013年第6期1451-1456,共6页
-
基金
国家自然科学基金项目(61003183)资助
江苏省自然科学基金项目(BK2011521)资助
江苏大学高级人(10JDG065)资助
-
文摘
针对语句之间的情感存在相互关联的特性,本文从声学角度提出了上下文动态情感特征、上下文差分情感特征、上下文边缘动态情感特征和上下文边缘差分情感特征共四类268维语音情感上下文特征以及这四类情感特征的提取方法,该方法是从当前情感语句与其前面若干句的合并句中提取声学特征,建立上下文特征模型,以此辅助传统特征所建模型来提高识别率.最后,将该方法应用于语音情感识别,实验结果表明,加入新的上下文语音情感特征后,六类典型情感的平均识别率为82.78%,比原有特征模型的平均识别率提高了约8.89%.
-
关键词
声学上下文语音情感特征
情感语音合并句
模糊密度
决策融合
语音情感识别
-
Keywords
acoustic contextual speech emotion feature
emotional speech combined sentence
fuzzy density
decision fusion
speech e-motion recognition
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
