-
题名基于Kinect深度信息的手势识别
被引量：24
- 1
-
-
作者
王艳
张奇志
-
机构
北京信息科技大学自动化学院
-
出处
《北京信息科技大学学报（自然科学版）》
2013年第1期22-26,共5页
-
基金
国家自然科学基金资助项目(11172047
11072038)
北京市属高等学校人才强教深化计划资助项目(PHR201106131)
-
文摘
设计了一种基于Kinect深度信息和双阈值分割的运动手势识别算法。结合OpenCV和OpenNI,在vs2010环境下实现了该算法。利用Kinect的深度摄像头获取深度图像;对该图像进行双阈值分割,获取手部图像;再对手部图像进行形态学处理,获取完整的手形;最后,利用OpenNI的手势生成器GestureGenerator对手势进行跟踪识别。利用深度图像进行手势识别,通过双阈值分割,不仅去除了背景干扰,也能去除一部分前景干扰。用不同颜色点、圆和线的形式表示各种手势,可以清晰地实时显示识别效果。
-
关键词
手势识别
KINECT
深度信息
手势生成
-
Keywords
gesture recognition
Kinect
depth information
gesture generation
-
分类号
TP24
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名虚拟数字人手势交互设计
被引量：5
- 2
-
-
作者
王晓慧
覃京燕
-
机构
北京科技大学
-
出处
《包装工程》
CAS
北大核心
2021年第6期46-52,76,共8页
-
基金
长江学者奖励项目(FRF-TP-18-010C1)
北京科技大学顺德研究生院项目(BK19AE011,BK20AF002)
佛山市促进高校科技成果服务产业发展扶持项目(2020DZXX05)。
-
文摘
目的设计一个通用、动态、自学习的虚拟数字人手势生成模型,为生成丰富情感表现力的虚拟数字人提供数据和模型基础。方法首先总结隐喻手势的语义分类方法,构建手势的量化描述语言,为手势的语义可计算提供量化方法;然后构建针对不同应用场景的情感语料库,标注手势的情感、手势隐喻语义和手势的量化描述,挖掘不同场景下虚拟数字人的行为模式,为虚拟数字人手势生成研究提供数据基础;最终提出基于应用场景的虚拟数字人手势生成算法,建立抽象的交流意图与手势的物理实现之间的映射,为生成具有环境认知能力的虚拟数字人提供模型支持。结果通过两个案例验证了该方法的有效性,解决了虚拟数字人对环境认知和互动不足的问题,使虚拟数字人具有了行为的交互性和思想的智能性。结论研究成果可推动虚拟数字人技术的发展,为虚拟数字人在不同场景下的广泛应用提供数据和模型基础,具有广泛的学术意义和应用前景。
-
关键词
虚拟数字人
交互设计
手势交互
隐喻手势
手势生成
-
Keywords
virtual human
interaction design
gesture interaction
metaphorical gestures
gesture generation
-
分类号
TB472
[一般工业技术—工业设计]
-
-
题名一种基于GAN的手势图像生成方法
被引量：3
- 3
-
-
作者
刘田丰
马力
-
机构
西安邮电大学数字艺术学院
-
出处
《计算机与数字工程》
2020年第8期2014-2017,2023,共5页
-
文摘
对近年来两种主流图像生成算法:变分自编码器和对抗式生成网络进行研究。提出一种对抗式生成网络的手势图像生成方法,用以实现数据增强。采用对抗学习的方式,分别设计了卷积判别网络模型和反卷积生成网络模型,并使用自适应学习率的方式优化训练过程,根据美国手势语数据集ASL中的部分手势图片生成大量新的手势图像。设计一组混合使用真实手势图片与生成手势图片作为训练集的对照实验测试生成效果。实验结果表明,生成图片作为训练集能达到和真实图片相似的效果。
-
关键词
对抗式生成网络
手势识别
数据增强
图像生成
-
Keywords
GANs
gesture recognition
data argumentation
image generation
-
分类号
TN957.52
[电子电信—信号与信息处理]
-
-
题名基于时空图卷积网络的语音驱动个人风格手势生成方法
- 4
-
-
作者
张斌
刘长红
曾胜
揭安全
-
机构
江西师范大学
-
出处
《计算机科学》
CSCD
北大核心
2022年第S02期604-608,共5页
-
基金
国家自然科学基金(62067004,61662030)
-
文摘
人们在发言时的手势动作往往具有自己独特的个人风格,研究者们提出了基于生成式对抗网络的语音驱动个人风格手势生成的方法,然而所生成的动作不自然,存在时序上动作不连贯的问题。针对该问题,文中提出了一种基于时空图卷积网络的语音驱动个人风格手势生成的方法,引入以时空图卷积网络为基础的时序动态性判别器,构建手势动作关节点之间空间和时间上的结构关系,并通过时空图卷积网络捕获手势动作关节点在空间上的相关性和提取时序上的动态性特征,使所生成的手势动作保持时序上的连贯性,以更符合真实手势的行为和结构。在Ginosar等构建的语音手势数据集上进行实验验证,与相关方法相比,正确关键点百分比指标提高了2%~5%,所生成的手势动作更自然。
-
关键词
跨模态生成
手势生成
个人风格学习
时空图卷积网络
时序动态性
-
Keywords
Cross-modal generation
gesture generation
Personal style learning
Spatio-Temporal graph convolutional networks
Temporal dynamics
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
TP391.41
[自动化与计算机技术—控制科学与工程]
-
-
题名融合多模态生成和情景训练的环境无关手势识别
- 5
-
-
作者
程宇
周瑞
张子若
罗悦
张宏旺
王佳昊
-
机构
电子科技大学信息与软件工程学院
-
出处
《小型微型计算机系统》
CSCD
北大核心
2024年第2期265-270,共6页
-
基金
电子科技大学-智小金-智能家居联合研究中心项目(H04W210180)资助
四川省科技支撑计划项目(2021YFG0024)资助。
-
文摘
无线通信和感知技术的发展促进了WiFi感知的产生与发展.依据人体及其行为对WiFi信号传播的影响,通过模式匹配可以实现基于WiFi的手势识别、活动识别、定位等感知任务.但是WiFi信号对环境具有较大依赖性,目标人员或周围环境的变化会导致已经建立的感知模型失效.为了解决这个问题,现有方案通常采用半监督或无监督域适应方法.但在实际应用中,无法预先获得新环境中的数据.因此,需要一种无需新环境数据,即可自动泛化到新环境的方法.为了实现这个目标,本文提出一种基于多模态样本生成和情景训练的环境无关手势识别方法.该方法采用若干源域的数据建立手势识别模型,能够在目标域没有任何数据的情况下,泛化到目标域中.实验结果表明,该方法在目标域无数据的情况下,对新用户和新环境的手势识别正确率均超过80%,高于业界现有水平.
-
关键词
WiFi感知
手势识别
环境无关
虚拟样本生成
情景训练
-
Keywords
WiFi sensing
gesture recognition
environment independent
virtual sample generation
episodic training
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于HGCN的序列手势骨架生成方法研究
- 6
-
-
作者
张海翔
曾瑞
马汉杰
蒋明峰
冯杰
-
机构
浙江理工大学计算机科学与技术学院
-
出处
《无线电工程》
北大核心
2023年第4期983-992,共10页
-
基金
国家自然科学基金委国际合作与交流项目(62011530130)
浙江省重点研发计划项目(2020C0360)。
-
文摘
手势是交流互动中一种重要的非语言媒介,手势序列生成作为手势表达行为建模的重要任务,在手势分类、手势识别和虚拟人手语驱动等场景有大量应用需求。针对序列手势骨架生成问题,提出了基于Hand-Gesture Graph Convolution Neural Network(HGCN)的手势骨架序列生成方法,采用生成对抗训练框架,在图卷积骨架序列生成方法基础上针对手势骨架序列数据特点,提出图卷积的手部特征增强和基于时空位置编码的自注意力结构的改进方法。实验结果表明,提出的HGCN方法相比基准图卷积骨架生成方法在手势骨架序列生成问题中有更好的结果。
-
关键词
深度学习
序列手势骨架生成
生成式对抗网络
图卷积神经网络
-
Keywords
deep leaning
sequence hand-gesture skeleton generation
generative adversarial network
graph convolutional neural network
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于状态机的手语动画自动生成技术
被引量：2
- 7
-
-
作者
张轶秋
王卫民
唐洋
张健
-
机构
江苏科技大学计算机学院
-
出处
《计算机与数字工程》
2020年第1期217-220,共4页
-
文摘
目前,手语的资源主要是图片、视频和动画。由于这些资源相对比较固定,无法动态扩展,不能满足手语动画自动生成的需求。论文将状态机应用于手语动画生成中,设计了基于状态机的手语动画自动生成技术算法,并将该算法应用到公交报站手语自动生成系统中。实验结果表明,生成的手语动作流畅,准确率达97%,具有良好的市场应用前景。
-
关键词
手语识别
自然语言处理
动画自动生成
智能交互
-
Keywords
gesture recognition
natural language processing
animation automatic generation
intelligent interaction
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于手势控制的视觉符号辅助绘画系统设计
- 8
-
-
作者
王威
-
机构
郑州轻工业大学
-
出处
《现代电子技术》
2021年第18期145-148,共4页
-
基金
国家自然科学基金项目(51905492)。
-
文摘
为了解决传统手势控制绘画系统容易忽略视觉符号辅助作用,以及多存在运行准确率低、耗时长、召回率低等问题,文中设计一种基于手势控制的视觉符号辅助绘画系统。使用数据手套安装传感器、位置跟踪器等设备采集手势数据信息,将数据输入系统。采用多模输入协调器进行过滤和归一化处理,依据处理后的数据提取手指弯曲程度特征值,进行时延神经网络训练完成手势识别。采用分形绘画工具提取手势图形细节信息特征,生成视觉符号,初始图形完成并输入图层管理模块,对图形进行预处理、色彩和形变处理,采用实时反馈工具将图形传输至显示器,完成绘画系统设计。实验结果表明,该系统准确率高达90%,运行耗时少,且对于视觉符号生成具有较高的召回率。
-
关键词
绘画系统
手势控制
归一化处理
特征提取
手势识别
视觉符号生成
-
Keywords
painting system
gesture control
normalization processing
feature extractionl
gesture recognition
visual symbol generation
-
分类号
TN911.73-34
[电子电信—通信与信息系统]
TP391.9
[电子电信—信息与通信工程]
-
-
题名基于图卷积的手势骨架生成
- 9
-
-
作者
曾瑞
张海翔
马汉杰
蒋明峰
冯杰
-
机构
浙江理工大学信息学院
-
出处
《智能计算机与应用》
2021年第10期33-37,共5页
-
文摘
目前手势生成的工作多用于从语音或文本中产生协同的手势以及实现手势数据增强。前者作为非语言信号辅助交流,却难以单独表达语义。对于后者,大多数都是将骨骼关节点当作图像的一个像素,整体当作图像处理,而没有考虑到关节点间丰富的人体结构信息,从而可能导致生成的结果是扭曲的、不自然的。本文提出了基于图卷积的生成式模型,以有效地编码结构信息到手势生成中。研究中将本文的方法与基于全连接神经网络以及基于卷积神经网络的方法进行了对比,实验结果表明,本文生成的手势在定量和定性结果上有了明显的改善。图卷积在手势骨架生成上的成功应用,可以进一步指导手势骨架到真实手势的生成工作,因而对生成自然、真实的手势有重要意义。
-
关键词
手势骨架生成
生成式对抗网络
图卷积神经网络
-
Keywords
skeleton-based gesture generation
Generative Adversarial Network
Graph Convolutional Neural Networks
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
TP183
[自动化与计算机技术—计算机科学与技术]
-
