-
题名汉语听觉视觉双模态信息的互补作用
被引量：4
- 1
-
-
作者
周治
杜利民
徐彦君
-
机构
中国科学院声学研究所语音交互信息技术研究中心
-
出处
《中国科学（E辑）》
CSCD
2000年第3期283-288,共6页
-
基金
中国科学院声学研究所所长基金
"八六三"高科技研究计划资助项目
-
文摘
从汉语听觉视觉双模态数据库CAVSR1.0中选出 10个人的视听数据 ,每人发 14个音节 /ba,bi,bian ,biao ,bin ,de ,di,dian ,duo,dong,gai,gan ,gen ,gu/ .感知实验的样本分单语音信号、语音信号 +视觉信号、单视觉信号 3类 .单语音信号、语音信号+视觉信号分别包括 5种声学条件 :无噪语音信号 ,信噪比S/N为 0 ,-8,-12 ,-16dB的语音信号 .由 2 0名观察者进行感知识别 .通过对实验结果分析 ,发现人类对单视觉信号有较强的识别能力 ;声母的发音方法、发音部位和韵母造成了视觉上的不同差异 ;在噪声环境下 ,视觉信息对听觉信息有非常明显的补偿作用 ,可以使正确识别率大幅度提高 .
-
关键词
听觉视觉双模态语音识别
汉语
视听信息
互补作
-
分类号
TN912
[电子电信—通信与信息系统]
-
