-
题名基于Kinect深度信息的手势识别
被引量：24
- 1
-
-
作者
王艳
张奇志
-
机构
北京信息科技大学自动化学院
-
出处
《北京信息科技大学学报（自然科学版）》
2013年第1期22-26,共5页
-
基金
国家自然科学基金资助项目(11172047
11072038)
北京市属高等学校人才强教深化计划资助项目(PHR201106131)
-
文摘
设计了一种基于Kinect深度信息和双阈值分割的运动手势识别算法。结合OpenCV和OpenNI,在vs2010环境下实现了该算法。利用Kinect的深度摄像头获取深度图像;对该图像进行双阈值分割,获取手部图像;再对手部图像进行形态学处理,获取完整的手形;最后,利用OpenNI的手势生成器GestureGenerator对手势进行跟踪识别。利用深度图像进行手势识别,通过双阈值分割,不仅去除了背景干扰,也能去除一部分前景干扰。用不同颜色点、圆和线的形式表示各种手势,可以清晰地实时显示识别效果。
-
关键词
手势识别
KINECT
深度信息
手势生成
-
Keywords
gesture recognition
Kinect
depth information
gesture generation
-
分类号
TP24
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名虚拟数字人手势交互设计
被引量：5
- 2
-
-
作者
王晓慧
覃京燕
-
机构
北京科技大学
-
出处
《包装工程》
CAS
北大核心
2021年第6期46-52,76,共8页
-
基金
长江学者奖励项目(FRF-TP-18-010C1)
北京科技大学顺德研究生院项目(BK19AE011,BK20AF002)
佛山市促进高校科技成果服务产业发展扶持项目(2020DZXX05)。
-
文摘
目的设计一个通用、动态、自学习的虚拟数字人手势生成模型,为生成丰富情感表现力的虚拟数字人提供数据和模型基础。方法首先总结隐喻手势的语义分类方法,构建手势的量化描述语言,为手势的语义可计算提供量化方法;然后构建针对不同应用场景的情感语料库,标注手势的情感、手势隐喻语义和手势的量化描述,挖掘不同场景下虚拟数字人的行为模式,为虚拟数字人手势生成研究提供数据基础;最终提出基于应用场景的虚拟数字人手势生成算法,建立抽象的交流意图与手势的物理实现之间的映射,为生成具有环境认知能力的虚拟数字人提供模型支持。结果通过两个案例验证了该方法的有效性,解决了虚拟数字人对环境认知和互动不足的问题,使虚拟数字人具有了行为的交互性和思想的智能性。结论研究成果可推动虚拟数字人技术的发展,为虚拟数字人在不同场景下的广泛应用提供数据和模型基础,具有广泛的学术意义和应用前景。
-
关键词
虚拟数字人
交互设计
手势交互
隐喻手势
手势生成
-
Keywords
virtual human
interaction design
gesture interaction
metaphorical gestures
gesture generation
-
分类号
TB472
[一般工业技术—工业设计]
-
-
题名虚拟数字人手势交互设计
- 3
-
-
作者
胡珏
-
机构
重庆市高新区四川美术学院
-
出处
《风景名胜》
2021年第6期0102-0102,0104,共2页
-
文摘
随着虚拟数字人的研究热度逐渐上升,为生成丰富情感表现力的虚拟数字人,本文设计一种通用、动态、自学习的虚拟数字人手势生成模型。总结隐喻手势的语义分类方法,构建手势的量化描述语言,为手势的语义可计算提供量化方法 , 提出基于应用场景的虚拟数字人手势生成算法,为生成具有环境认知能力的虚拟数字人提供模型支持,使虚拟数字人具有了行为的交互性和思想的智能性,从而推动虚拟数字人技术的发展。
-
关键词
虚拟数字人
交互设计
手势交互
隐喻手势
手势生成
-
分类号
K
[历史地理]
-
-
题名基于时空图卷积网络的语音驱动个人风格手势生成方法
- 4
-
-
作者
张斌
刘长红
曾胜
揭安全
-
机构
江西师范大学
-
出处
《计算机科学》
CSCD
北大核心
2022年第S02期604-608,共5页
-
基金
国家自然科学基金(62067004,61662030)
-
文摘
人们在发言时的手势动作往往具有自己独特的个人风格,研究者们提出了基于生成式对抗网络的语音驱动个人风格手势生成的方法,然而所生成的动作不自然,存在时序上动作不连贯的问题。针对该问题,文中提出了一种基于时空图卷积网络的语音驱动个人风格手势生成的方法,引入以时空图卷积网络为基础的时序动态性判别器,构建手势动作关节点之间空间和时间上的结构关系,并通过时空图卷积网络捕获手势动作关节点在空间上的相关性和提取时序上的动态性特征,使所生成的手势动作保持时序上的连贯性,以更符合真实手势的行为和结构。在Ginosar等构建的语音手势数据集上进行实验验证,与相关方法相比,正确关键点百分比指标提高了2%~5%,所生成的手势动作更自然。
-
关键词
跨模态生成
手势生成
个人风格学习
时空图卷积网络
时序动态性
-
Keywords
Cross-modal generation
Gesture generation
Personal style learning
Spatio-Temporal graph convolutional networks
Temporal dynamics
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
TP391.41
[自动化与计算机技术—控制科学与工程]
-
-
题名基于改进手臂运动模型的手势生成系统构建
- 5
-
-
作者
刘岩恺
于美娟
马希荣
-
机构
天津师范大学计算机与信息工程学院
-
出处
《计算机光盘软件与应用》
2012年第9期159-159,161,共2页
-
基金
国家自然科学基金项目(60970060/F020508)
天津师范大学校博士基金(52X09012)资助
-
文摘
随着社会信息化的提高和人机交互技术的普及,手语合成技术得到了很大的重视与发展,基于对当前中国手语合成技术的研究,从机器人手臂运动学角度,对于已有的手臂运动模型进行了改进,并基于改进后的运动模型,通过软件设计方法构建了相应的手势生成系统。
-
关键词
人机交互
中国手语
手臂运动模型
手势生成
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于HGCN的序列手势骨架生成方法研究
- 6
-
-
作者
张海翔
曾瑞
马汉杰
蒋明峰
冯杰
-
机构
浙江理工大学计算机科学与技术学院
-
出处
《无线电工程》
北大核心
2023年第4期983-992,共10页
-
基金
国家自然科学基金委国际合作与交流项目(62011530130)
浙江省重点研发计划项目(2020C0360)。
-
文摘
手势是交流互动中一种重要的非语言媒介,手势序列生成作为手势表达行为建模的重要任务,在手势分类、手势识别和虚拟人手语驱动等场景有大量应用需求。针对序列手势骨架生成问题,提出了基于Hand-Gesture Graph Convolution Neural Network(HGCN)的手势骨架序列生成方法,采用生成对抗训练框架,在图卷积骨架序列生成方法基础上针对手势骨架序列数据特点,提出图卷积的手部特征增强和基于时空位置编码的自注意力结构的改进方法。实验结果表明,提出的HGCN方法相比基准图卷积骨架生成方法在手势骨架序列生成问题中有更好的结果。
-
关键词
深度学习
序列手势骨架生成
生成式对抗网络
图卷积神经网络
-
Keywords
deep leaning
sequence hand-gesture skeleton generation
generative adversarial network
graph convolutional neural network
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于图卷积的手势骨架生成
- 7
-
-
作者
曾瑞
张海翔
马汉杰
蒋明峰
冯杰
-
机构
浙江理工大学信息学院
-
出处
《智能计算机与应用》
2021年第10期33-37,共5页
-
文摘
目前手势生成的工作多用于从语音或文本中产生协同的手势以及实现手势数据增强。前者作为非语言信号辅助交流,却难以单独表达语义。对于后者,大多数都是将骨骼关节点当作图像的一个像素,整体当作图像处理,而没有考虑到关节点间丰富的人体结构信息,从而可能导致生成的结果是扭曲的、不自然的。本文提出了基于图卷积的生成式模型,以有效地编码结构信息到手势生成中。研究中将本文的方法与基于全连接神经网络以及基于卷积神经网络的方法进行了对比,实验结果表明,本文生成的手势在定量和定性结果上有了明显的改善。图卷积在手势骨架生成上的成功应用,可以进一步指导手势骨架到真实手势的生成工作,因而对生成自然、真实的手势有重要意义。
-
关键词
手势骨架生成
生成式对抗网络
图卷积神经网络
-
Keywords
skeleton-based gesture generation
Generative Adversarial Network
Graph Convolutional Neural Networks
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
TP183
[自动化与计算机技术—计算机科学与技术]
-
