基于色度分析的唇动特征提取与识别 被引量：9

1

作者 姚鸿勋 吕雅娟 高文 《电子学报》 EI CAS CSCD 北大核心 2002年第2期168-172,共5页

本文提出了一种基于色度滤波的唇动特征提取与识别方法 ,它通过唇的色度滤波 ,得到增强的唇动图像 ,再利用可变模板 ,描述口型轮廓并提取特征参数 ,并用HMM模型进行唇运动序列图像识别 .该方法鲁棒性强 ,对光照没有苛刻的要求 ,且针对... 本文提出了一种基于色度滤波的唇动特征提取与识别方法 ,它通过唇的色度滤波 ,得到增强的唇动图像 ,再利用可变模板 ,描述口型轮廓并提取特征参数 ,并用HMM模型进行唇运动序列图像识别 .该方法鲁棒性强 ,对光照没有苛刻的要求 ,且针对非特定人 ,适用于自然条件下的实用环境 ,解决了可变模板对目标边缘有较高分辨率的要求 ,使方法更实用化 .本文的实验是基于单纯的视觉信息 (没有声音信道的信息 )的唇动识别 ,不加语音信息 ,实验集合只限于单韵母 ,识别率可达 95 8% . 展开更多

关键词 色度分析 图像识别 唇动 特征提取

下载PDF 职称材料

基于SVD的唇动视觉语音特征提取技术 被引量：3

2

作者 张建明 陶宏 +2 位作者 王良民 詹永照 宋顺林 《江苏大学学报（自然科学版）》 EI CAS 2004年第5期426-429,共4页

唇动视觉语音特征提取是音视频驱动的人脸动画唇动表示和唇读研究的关键技术.首先针对彩色视频图像进行唇色增强,对增强后的灰度图像进行阈值分割,获取唇部包围框,并根据口型发音的视觉特征进行初分类;然后进行尺度与灰度归一化处理,对... 唇动视觉语音特征提取是音视频驱动的人脸动画唇动表示和唇读研究的关键技术.首先针对彩色视频图像进行唇色增强,对增强后的灰度图像进行阈值分割,获取唇部包围框,并根据口型发音的视觉特征进行初分类;然后进行尺度与灰度归一化处理,对预处理后的图像提取奇异值特征;最后采用基于欧氏距离的模板匹配法对该奇异值特征所包含的视觉语音信息进行测试试验,结果表明该低维度特征包含了大量唇动视觉语音信息,可用于单个人在自然环境下的唇语口型识别. 展开更多

关键词 唇动 特征提取 SVD 唇读

下载PDF 职称材料

唇读研究回顾:从聋人到正常人 被引量：9

3

作者 徐诚 《华东师范大学学报（教育科学版）》 CSSCI 北大核心 2013年第1期56-61,共6页

唇读能力对聋人极为重要,在正常人的在交流中同样起到辅助作用。以聋人或正常人为对象的唇读研究各有侧重,前者在于探索提高聋人交流能力方法的应用性,后者以研究人类视听多通道的信息整合为主,但在神经生理研究中二者也常互为对照以研... 唇读能力对聋人极为重要,在正常人的在交流中同样起到辅助作用。以聋人或正常人为对象的唇读研究各有侧重,前者在于探索提高聋人交流能力方法的应用性,后者以研究人类视听多通道的信息整合为主,但在神经生理研究中二者也常互为对照以研究听觉损伤与否的差异。当前研究中仍存在聋人被试信息统计非标准化、唇读材料过简单、唇动记录手段单一等问题,今后研究当有所改进,并向唇读中的语义辨析、逻辑判断等高级认知加工方向发展。 展开更多

关键词 唇读 唇动 言语知觉 视觉信号

下载PDF 职称材料

基于数字彩色结构光投影的唇动三维测量 被引量：3

4

作者 曲芳 钟金钢 《光学技术》 EI CAS CSCD 北大核心 2006年第5期691-694,共4页

提出了基于数字彩色结构光投影的动态三维测量轮廓术,用于人在讲话过程中嘴唇的三维测量。介绍了彩色编码轮廓术的基本原理,再通过分色和条纹细化处理,实现了对动态不连续嘴唇的测量。实验验证了测量方案的有效性。

关键词 动态三维轮廓术 彩色编码 不连续形貌 条纹细化处理 唇动

原文传递

“AI合成主播”的突破 不代表弱人工智能时代的终结 被引量：3

5

作者 拾影 《互联网周刊》 2018年第22期64-65,共2页

在11月9日刚刚闭幕的第五届世界互联网大会上,新华社联合搜狗发布了全球首个合成新闻主播——＂AI合成主播＂。从官方发布的视频来看,AI合成主播高度还原了真人主播的表情、动作、语态以及唇动,将真人主播的新闻播报能力很好的复制出来... 在11月9日刚刚闭幕的第五届世界互联网大会上,新华社联合搜狗发布了全球首个合成新闻主播——＂AI合成主播＂。从官方发布的视频来看,AI合成主播高度还原了真人主播的表情、动作、语态以及唇动,将真人主播的新闻播报能力很好的复制出来,观感与真人主播差异不大。 展开更多

关键词 合成 人工智能 AI 互联网 新华社 新闻 视频 唇动

下载PDF 职称材料

基于唇动的说话人识别技术

6

作者 刘庆辉 姚鸿勋 《计算机工程与应用》 CSCD 北大核心 2006年第12期85-88,共4页

针对说话人识别技术多基于语音的现状,文章提出了一种新颖的基于唇动的说话人识别技术。通过离散余弦变换,从说话人讲话时的图像序列提取那些既反映说话人嘴部生理特性也反映了说话人唇动的行为特性的视觉特征。基于这些特征,为说话人... 针对说话人识别技术多基于语音的现状,文章提出了一种新颖的基于唇动的说话人识别技术。通过离散余弦变换,从说话人讲话时的图像序列提取那些既反映说话人嘴部生理特性也反映了说话人唇动的行为特性的视觉特征。基于这些特征,为说话人建立静态-动态混合模型,其中使用半连续隐马尔可夫模型为说话人建立动态模型。在一个小型的视觉语料库上,我们分别对说话人辨认系统和确认系统进行实现。对说话人辨认系统,其文本有关与文本无关模式的正确率分别达到了100%和99.7%;对说话人确认系统,文本有关与文本无关模式的等错误率分别为0.09%与0.33%。 展开更多

关键词 唇动 说话人辨认 说话人确认 隐马尔可夫模型 离散余弦变换

下载PDF 职称材料

基于内唇特征提取的唇语识别 被引量：1

7

作者 王晓钟 潘保昌 郑胜林 《计算机与现代化》 2009年第2期5-7,12,共4页

将现有唇读识别常用的双唇线口型模板简化优化,创建了单唇线即内唇口型模板,并结合内唇的灰度特征,利用相关函数的相似性匹配实现唇语识别。该方法在准确有效提取特征的同时降低了运算复杂度,实验数据为单纯的视觉信息,集合为单个发音时... 将现有唇读识别常用的双唇线口型模板简化优化,创建了单唇线即内唇口型模板,并结合内唇的灰度特征,利用相关函数的相似性匹配实现唇语识别。该方法在准确有效提取特征的同时降低了运算复杂度,实验数据为单纯的视觉信息,集合为单个发音时,识别率可达90%。实验证明新的尝试具可行性。 展开更多

关键词 唇动 唇读 口型模板 特征提取 匹配

下载PDF 职称材料

基于唇动特征的语音端点检测

8

作者 何俊 张华 《微计算机信息》 北大核心 2008年第26期221-223,共3页

针对强噪声环境下语音端点检测问题,本文提出了一种利用唇动特征检测语音端点的新方法。首先进行人脸和嘴唇检测,然后分别用PCA法或DCT法对嘴部特征进行提取,再用概率神经网络进行唇动分类和识别。实验表明,在强噪声的环境下利用视觉通... 针对强噪声环境下语音端点检测问题,本文提出了一种利用唇动特征检测语音端点的新方法。首先进行人脸和嘴唇检测,然后分别用PCA法或DCT法对嘴部特征进行提取,再用概率神经网络进行唇动分类和识别。实验表明,在强噪声的环境下利用视觉通道的唇动特征进行语音端点检测是可行的。 展开更多

关键词 语音端点检测 唇动 特征提取 概率神经网络

下载PDF 职称材料

注意力机制的唇动序列数字验证码识别方法

9

作者 冯省城 《电子世界》 CAS 2021年第6期168-169,共2页

当前的人脸识别算法发展迅速,已经能够以极高准确率进行人脸验证。但是使用照片也可以有效地通过人脸验证,所以还需要进行人脸活体检测进行验证是否为真人。我们可以让人说出所提供的数字验证码,通过唇动序列识别出所说的数字验证码,然... 当前的人脸识别算法发展迅速,已经能够以极高准确率进行人脸验证。但是使用照片也可以有效地通过人脸验证,所以还需要进行人脸活体检测进行验证是否为真人。我们可以让人说出所提供的数字验证码,通过唇动序列识别出所说的数字验证码,然后进行正确性的验证,进而进行活体检测。 展开更多

关键词 注意力机制 人脸验证 验证码 活体检测 唇动 人脸识别算法 序列识别 数字

下载PDF 职称材料

文本驱动的唇动合成系统 被引量：16

10

作者 晏洁 《计算机工程与设计》 CSCD 北大核心 1998年第1期31-34,共4页

国内在汉语拼音到口型的变换方面还没有相应的研究。本文根据汉语拼音的构成及发音时唇动变动特点，首先定义了一个基本口型集，其中包括６种基本口型，再根据该基本口型集，衍生出一个韵母口型库，使每一个汉字在发音时都对应着相应的... 国内在汉语拼音到口型的变换方面还没有相应的研究。本文根据汉语拼音的构成及发音时唇动变动特点，首先定义了一个基本口型集，其中包括６种基本口型，再根据该基本口型集，衍生出一个韵母口型库，使每一个汉字在发音时都对应着相应的口型。文本驱动的唇动合成系统的功能为对于任意输入文本，系统均可将该输入文本切分为单独的汉字并对应到三维虚拟人脸的唇动变化中去。本系统的实现在聋哑人辅助教学，提高聋哑人与正常人之间日常交流方面进行了有益的尝试。 展开更多

关键词 语音学 文本驱动 唇动合成系统 CAI

下载PDF 职称材料

一种快速、鲁棒的唇动检测与定位方法 被引量：9

11

作者 王瑞 高文 马继涌 《计算机学报》 EI CSCD 北大核心 2001年第8期866-871,共6页

提出了一种利用唇色在彩色空间分布信息和唇在人脸区域的几何分布特性进行快速、鲁棒的唇动检测与定位的方法 .在该方法中 ,首先提出采用有约束的 Fisher变换进行嘴唇图像增强 ;然后利用嘴唇在人脸区域的几何分布特性 ,来提高唇动定位... 提出了一种利用唇色在彩色空间分布信息和唇在人脸区域的几何分布特性进行快速、鲁棒的唇动检测与定位的方法 .在该方法中 ,首先提出采用有约束的 Fisher变换进行嘴唇图像增强 ;然后利用嘴唇在人脸区域的几何分布特性 ,来提高唇动定位的速度和准确性 ,唇动定位主要利用两种几何分布特性 :(1)利用唇的区域面积和人脸的区域面积比值变化范围不大这一特性自适应确定区分唇色和肤色的阈值 .(2 )利用外唇参数与内唇参数之间有近似线性关系的假设 ,用外唇参数预测内唇参数 ,克服内唇定位经常陷于局部最小、定位不准的缺陷 .实验证明 ,该唇动检测与定位系统无论从速度还是从可靠性、准确性都能满足应用的要求 . 展开更多

关键词 FISHER变换 多元线性回归分析 唇动检测 图像增强 定位 计算机

下载PDF 职称材料

非监督、多级嘴唇区域分割方法 被引量：4

12

作者 王瑞 高文 《计算机工程与应用》 CSCD 北大核心 2003年第2期53-56,共4页

该文介绍了一个非监督、多级嘴唇区域分割检测方法。首先提出利用fisher变换增强嘴唇区域,然后利用嘴唇在人脸区域的分布面积比,提出利用统计阈值完成嘴唇的初步分割,最后利用嘴唇对称性和轮廓光滑性的先验知识,提出了基于局部阈值调整... 该文介绍了一个非监督、多级嘴唇区域分割检测方法。首先提出利用fisher变换增强嘴唇区域,然后利用嘴唇在人脸区域的分布面积比,提出利用统计阈值完成嘴唇的初步分割,最后利用嘴唇对称性和轮廓光滑性的先验知识,提出了基于局部阈值调整完成嘴唇的精细分割。实验证明该方法在不同光照条件下、对不同人、各种表情都能自动地、鲁棒地、精确地检测出嘴唇区域,并较准确提取初步的嘴唇几何参数。利用这些几何参数作为轮廓定位的初始化条件,可以大大提高变形模板和ASM模型等嘴唇轮廓定位算法的速度和准确度。 展开更多

关键词 多级嘴唇区域分割方法 嘴唇分割 唇动跟踪 图像分割 人脸检测系统

下载PDF 职称材料

一个聋哑人辅助教学系统 被引量：5

13

作者 晏洁 宋益波 高文 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 1998年第5期400-408,共9页

为促进聋哑人与正常人之间的交流，本文设计并实现了一个聋哑人辅助教学系统．该系统的功能是能够在文本的驱动下实时合成一个有表情，有口型，有手势动作的三维虚拟“图形人”．对于用户任意输入的一段文本，系统首先将其切分成词的序... 为促进聋哑人与正常人之间的交流，本文设计并实现了一个聋哑人辅助教学系统．该系统的功能是能够在文本的驱动下实时合成一个有表情，有口型，有手势动作的三维虚拟“图形人”．对于用户任意输入的一段文本，系统首先将其切分成词的序列，然后顺次驱动“图形人”根据当前词蕴涵的感情色彩做出相应的表情，同时作出该词发音时的相应口型并打出对应于当前词的哑语手势．本系统可以直接应用于聋哑人辅助教学． 展开更多

关键词 聋哑教育 CAI 唇动合成 手语合成

下载PDF 职称材料

人脸主要特征位置标定与唇动序列跟踪 被引量：1

14

作者 赵向阳 张有为 《五邑大学学报（自然科学版）》 CAS 2002年第1期11-16,共6页

通过对人脸主要特征位置的粗标定,得到眼睛位置的精标定,进而确定嘴的粗位置,构造了一个嘴的变形模型,通过多变量寻优算法获得比较准确的发音嘴形特征. 这对于人机自然交互,听觉视觉双模态语音识别,计算机视觉的研究都有重要意义. 这种... 通过对人脸主要特征位置的粗标定,得到眼睛位置的精标定,进而确定嘴的粗位置,构造了一个嘴的变形模型,通过多变量寻优算法获得比较准确的发音嘴形特征. 这对于人机自然交互,听觉视觉双模态语音识别,计算机视觉的研究都有重要意义. 这种方法简单、快捷,通过试验验证有较好的效果. 展开更多

关键词 人脸主要特征定位 变形模板 多变量寻优算法 模板匹配 唇动序列跟踪 语音识别

下载PDF 职称材料

基于图像信息的话者识别 被引量：2

15

作者 刘培培 杨祥来 《中国科技论文》 CAS 北大核心 2018年第20期2388-2393,共6页

提出了一种使用图像信息进行话者识别的方案,建立了一个共计916个样本、每个样本包含连续20帧图片的实验数据集。将基于图像信息的话者识别分为借助人脸识别技术找出人脸的嘴唇部分并执行唇动检测和对被检测出唇动的人脸进行人脸识别2... 提出了一种使用图像信息进行话者识别的方案,建立了一个共计916个样本、每个样本包含连续20帧图片的实验数据集。将基于图像信息的话者识别分为借助人脸识别技术找出人脸的嘴唇部分并执行唇动检测和对被检测出唇动的人脸进行人脸识别2个阶段。唇动检测模型通过2种方法获得:计算样本中每帧图片的人脸上下嘴唇间距与鼻部宽度的比例,并将该比例作为该帧图像的特征,基于总体样本特征使用支持向量机进行模型训练;对人脸的嘴唇部分进行裁剪,使用卷积神经网络对裁剪后的嘴唇图片提取特征,并将特征作为长短时记忆网络的输入进行模型的训练。实验结果表明,基于图像信息的话者识别能够达到较高的准确率。 展开更多

关键词 人脸识别 话者识别 唇动检测 支持向量机 卷积神经网络 长短时记忆网络

下载PDF 职称材料

唇读技术及其最新发展研究概述 被引量：1

16

作者 赵燕燕 王丽荣 《长春大学学报》 2007年第10期58-62,共5页

随着自然人机交互技术的发展,唇读已成为该技术领域的一大热点。由于对非特定人的唇读本身具有多样性、多义性以及时间和空间上的差异等特点,因此基于视觉的唇读识别技术是一个富有挑战性的多学科交叉研究领域。本文从唇部检测定位、特... 随着自然人机交互技术的发展,唇读已成为该技术领域的一大热点。由于对非特定人的唇读本身具有多样性、多义性以及时间和空间上的差异等特点,因此基于视觉的唇读识别技术是一个富有挑战性的多学科交叉研究领域。本文从唇部检测定位、特征提取、唇读识别三个方面,综述了唇读识别技术的发展状况。 展开更多

关键词 视觉信息 唇读 检测定位 特征提取 唇动识别

下载PDF 职称材料

融入唇语识别技术提升人脸识别安全性的研究

17

作者 钟逸晟 尹芳 +2 位作者 李嘉乾 李传师 侯耀辉 《智能计算机与应用》 2021年第1期123-125,共3页

为了解决人脸识别的安全性问题,提高对恶意攻击人脸识别系统的安全防护,使人脸识别技术能够获得更广泛应用,本文提出了在人脸识别技术上融入一种基于深度神经网络的唇语识别技术的系统。与现有的唇语识别技术不同的是,该系统主要是识别... 为了解决人脸识别的安全性问题,提高对恶意攻击人脸识别系统的安全防护,使人脸识别技术能够获得更广泛应用,本文提出了在人脸识别技术上融入一种基于深度神经网络的唇语识别技术的系统。与现有的唇语识别技术不同的是,该系统主要是识别用户的唇动习惯。运用本系统,用户在进行人脸识别的同时可按照检测方的提示,读出相应的内容,并在对用户的人脸进行验证的过程中,对用户通过唇动说出的内容分别实现唇动识别、比对,从而有效地提升人脸识别的安全性水平。实验结果表明,在故意针对人脸识别系统的攻击中,融入本技术的系统有更好的识别准确率。 展开更多

关键词 唇动识别 人脸识别安全 深度神经网络 身份认证

下载PDF 职称材料

自主非玩家角色面部行为的实现

18

作者 黄向阳 尹怡欣 +1 位作者 曾广平 涂序彦 《计算机工程与设计》 CSCD 北大核心 2006年第22期4175-4177,4182,共4页

为了用自主非玩家角色(ANPC)来实现游戏里的人工智能,提出了一种“模型-视图-控制器(MVC)”的设计模式来实现此类ANPC,该模式将AI从游戏引擎中分离出来。用一种混合变形顶点着色(BMVS)技术实现ANPC的面部行为,该技术可以把各个行为动画... 为了用自主非玩家角色(ANPC)来实现游戏里的人工智能,提出了一种“模型-视图-控制器(MVC)”的设计模式来实现此类ANPC,该模式将AI从游戏引擎中分离出来。用一种混合变形顶点着色(BMVS)技术实现ANPC的面部行为,该技术可以把各个行为动画,如眨眼、微笑、视位(visemes),混合形成整个面部行为动画。采用顶点着色技术,不用锁定顶点缓存和新建混合后形成的网格(mesh),因而能提高动画渲染效率。 展开更多

关键词 游戏人工智能 人脸动画 视位 唇动合成 顶点着色

下载PDF 职称材料

罕见病治验二则

19

作者 唐强华 《四川中医》 1998年第1期34-34,共1页

关键词 手指发黄 唇脸Run动 中医药疗法 湿郁成毒

下载PDF 职称材料