时空自适应图卷积神经网络的骨架行为识别 被引量：8

1

作者 曹毅 刘晨 +1 位作者 黄子龙 盛永健 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2020年第11期5-10,共6页

针对骨架行为识别缺乏全局上下文时间信息时域建模的能力、识别准确率与泛化性能均不理想的问题,提出了一种时间动作图的时间建模特征和一种时空自适应图卷积神经网络(ST-AGCN)骨架行为识别模型.首先,介绍了图表示理论与骨架序列,并设... 针对骨架行为识别缺乏全局上下文时间信息时域建模的能力、识别准确率与泛化性能均不理想的问题,提出了一种时间动作图的时间建模特征和一种时空自适应图卷积神经网络(ST-AGCN)骨架行为识别模型.首先,介绍了图表示理论与骨架序列,并设计了时间动作图和基于N阶固定时间结构的邻接矩阵;然后,基于非局部结构融合图卷积理论,提出了时域自适应图卷积网络(T-AGCN)结构;接着,结合空间自适应图卷积网络(S-AGCN)结构,提出了ST-AGCN骨架行为识别模型;最后,为验证该模型时域建模能力、识别准确率与泛化性能,基于NTU-RGB+D和SBU数据集开展了骨架行为识别实验.实验结果表明:该模型在上述数据集上的识别准确率最高分别为92.1%和99.5%,验证了该模型具有优秀的识别准确率和良好的泛化性能. 展开更多

关键词 骨架行为识别 时间动作图 非局部结构 时域自适应图卷积 时空自适应图卷积

原文传递

基于时空注意力深度网络的视角无关性骨架行为识别 被引量：4

2

作者 丰艳 李鸽 +1 位作者 原春锋 王传旭 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2018年第12期2271-2277,共7页

针对单视角骨架数据包含噪声且其特征完全依赖于该视角的问题,提出一种基于时空注意力的深度网络模型进行角度无关性骨架行为识别,该模型主要由特定视角子网和公共子网串联组成.首先通过特定视角子网学习每个视角序列的判别性特征,同时... 针对单视角骨架数据包含噪声且其特征完全依赖于该视角的问题,提出一种基于时空注意力的深度网络模型进行角度无关性骨架行为识别,该模型主要由特定视角子网和公共子网串联组成.首先通过特定视角子网学习每个视角序列的判别性特征,同时利用空域注意力和时域注意力模块分别重点关注关键关节点和关键帧;然后特定视角子网的输出特征作为公共子网的输入,通过公共子网进一步学习角度无关性特征;最后输出行为分类结果.为了保证网络的有效训练,提出一个正则化交叉熵损失函数来推动网络多模块共同学习.实验结果表明,该模型在目前最大的骨架数据集NTU数据集上识别准确率为76.3%. 展开更多

关键词 深度网络 时空注意力 角度无关性 骨架行为识别

下载PDF 职称材料

骨架人体行为识别研究回顾、现状及展望

3

作者 边存灵 吕伟刚 冯伟 《计算机工程与应用》 CSCD 北大核心 2024年第20期1-29,共29页

人体行为识别在视频监控、人机交互、医疗看护、体育赛事分析等领域具备重要的应用前景。近年来,随着传感器技术和人体姿态估计算法的迅猛发展,基于骨架的人体行为识别受到研究者越来越多的重视。相较于传统的视频图像数据,骨架数据以... 人体行为识别在视频监控、人机交互、医疗看护、体育赛事分析等领域具备重要的应用前景。近年来,随着传感器技术和人体姿态估计算法的迅猛发展,基于骨架的人体行为识别受到研究者越来越多的重视。相较于传统的视频图像数据,骨架数据以行为人为中心,具有高度抽象的运动信息和低数据维度等特点,为行为信息建模提供了新的视角。以骨架人体行为识别为研究对象,对相关工作进行了全面系统的回顾和分析。通过文献计量分析法对已发表的相关文献进行了梳理,系统总结了基于骨架的行为识别的发展脉络。在此基础上,分别回顾了基于手工特征的传统识别方法和基于深度学习的识别方法,重点介绍了基于卷积神经网络、循环神经网络、图卷积神经网络以及Transformer方法的基本原理、改进策略和代表性工作,并简要论述了网络模型学习算法的研究现状。总结了基于运动捕捉系统、Kinect相机和RGB图像的三类公开数据集,并详细探讨了它们的特点和应用。最后,结合国内外研究现状及思考分析,梳理了基于骨架的人体行为识别中的关键难题与挑战,并展望了未来的发展方向,旨在为研究人员建立一个较完整的领域研究视图,为相关领域的工作提供参考和借鉴。 展开更多

关键词 骨架行为识别 文献计量分析 时空特征表征 深度学习 神经网络

下载PDF 职称材料

基于跨通道特征增强图卷积网络的骨架行为识别

4

作者 吴志泽 陈盛 +2 位作者 檀明 孙斐 杨静 《模式识别与人工智能》 EI CSCD 北大核心 2024年第8期703-714,共12页

受限于图卷积网络的局部操作模式,传统图卷积网络骨架行为识别方法难以建模远关节点关系和长时间信息,无法捕捉动作间的局部微小变化.因此,文中提出基于跨通道特征增强图卷积网络的骨架行为识别(Cross-Channel Feature-Enhanced Graph C... 受限于图卷积网络的局部操作模式,传统图卷积网络骨架行为识别方法难以建模远关节点关系和长时间信息,无法捕捉动作间的局部微小变化.因此,文中提出基于跨通道特征增强图卷积网络的骨架行为识别(Cross-Channel Feature-Enhanced Graph Convolutional Network for Skeleton-Based Action Recognition,CFE-GCN),包括双部分分组图卷积模块、跨阶段部分密集连接模块及多尺度时间卷积模块.双部分分组图卷积模块采用分组策略,对人体关节点建模,提取多粒度特征,捕获关节点之间的局部细微差异.跨阶段部分密集连接模块建立节点与前网络层之间的关联,丰富早期信息,捕捉长期运动关节间的潜在关系,学习更全面的上下文特征.多尺度时间卷积模块执行不同感受野的时间卷积,捕捉运动在时间域上的短期依赖关系和长期依赖关系.在3个基准数据集上的实验表明CFE-GCN性能较优. 展开更多

关键词 图卷积网络 骨架行为识别 跨通道特征增强 密集连接

下载PDF 职称材料

面向骨架图卷积动作识别的跨维交互注意力

5

作者 韩守东 龚雨舟 +1 位作者 谢云飞 李洪全 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2024年第11期93-100,共8页

针对骨架动作识别任务中传统图卷积网络未能充分挖掘骨架特征在不同维度之间交互语义的问题,提出一种跨维交互注意力(CDIA).CDIA包含了三种子注意力:空间-通道分组注意力(S-CGA)关联了骨架不同子图的内部节点之间和子图之间局部与全局... 针对骨架动作识别任务中传统图卷积网络未能充分挖掘骨架特征在不同维度之间交互语义的问题,提出一种跨维交互注意力(CDIA).CDIA包含了三种子注意力:空间-通道分组注意力(S-CGA)关联了骨架不同子图的内部节点之间和子图之间局部与全局的交互特征;时序-空间位移注意力(T-SSA)建立了帧间一阶位姿特征的上下文依赖;时序-通道差分注意力(T-CDA)增强了帧间二阶动态特征的表达.实验结果表明:在NTU 60的X-Sub和XView基准及NTU 120的X-Sub和X-Set基准上,CDIA相对基线网络的识别精度分别提升3.2%,1.1%和0.9%,1.8%,在FineGYM数据集上提升3.3%,计算量与参数量仅产生微小增加,可集成于不同图卷积网络,具备轻量化、即插即用的特性和优秀的识别性能. 展开更多

关键词 骨架动作识别 图卷积网络 跨维交互注意力 局部与全局 位姿特征关联 帧间差分

原文传递

基于几何特征与LSTM网络结合的动作识别算法 被引量：3

6

作者 邬倩 吴飞 骆立志 《传感器与微系统》 CSCD 2020年第10期111-114,共4页

为进一步提高基于人体骨架动作识别的识别率,打破以往大部分基于深度学习的方法的输入都为人体骨架关节坐标的局限性,提出了一种将骨架几何特征与长短期记忆(LSTM)网络结合的动作识别算法。选择基于关节与选定直线之间距离的骨架几何特... 为进一步提高基于人体骨架动作识别的识别率,打破以往大部分基于深度学习的方法的输入都为人体骨架关节坐标的局限性,提出了一种将骨架几何特征与长短期记忆(LSTM)网络结合的动作识别算法。选择基于关节与选定直线之间距离的骨架几何特征代替骨架关节坐标作为网络的输入,并引入了基于LSTM的网络结构,即时序关注LSTM网络。利用时序关注LSTM网络具有重点关注最具识别性的帧的能力,在SBU Interaction数据集和UT Kinect数据集上分别取得了99.25%和98.79%的识别率。实验结果证明:该方法对基于人体骨架动作识别的有效性。 展开更多

关键词 骨架动作识别 几何特征 长短期记忆(LSTM)网络

下载PDF 职称材料

时空双仿射微分不变量及骨架动作识别 被引量：3

7

作者 李琪 墨瀚林 +2 位作者 赵婧涵 郝宏翔 李华 《中国图象图形学报》 CSCD 北大核心 2021年第12期2879-2891,共13页

目的人体骨架的动态变化对于动作识别具有重要意义。从关节轨迹的角度出发,部分对动作类别判定具有价值的关节轨迹传达了最重要的信息。在同一动作的每次尝试中,相应关节的轨迹一般具有相似的基本形状,但其具体形式会受到一定的畸变影... 目的人体骨架的动态变化对于动作识别具有重要意义。从关节轨迹的角度出发,部分对动作类别判定具有价值的关节轨迹传达了最重要的信息。在同一动作的每次尝试中,相应关节的轨迹一般具有相似的基本形状,但其具体形式会受到一定的畸变影响。基于对畸变因素的分析,将人体运动中关节轨迹的常见变换建模为时空双仿射变换。方法首先用一个统一的表达式以内外变换的形式将时空双仿射变换进行描述。基于变换前后轨迹曲线的微分关系推导设计了双仿射微分不变量,用于描述关节轨迹的局部属性。基于微分不变量和关节坐标在数据结构上的同构特点,提出了一种通道增强方法,使用微分不变量将输入数据沿通道维度扩展后,输入神经网络进行训练与评估,用于提高神经网络的泛化能力。结果实验在两个大型动作识别数据集NTU(Nanyang Technological University)RGB+D(NTU 60)和NTU RGB+D 120(NTU 120)上与若干最新方法及两种基线方法进行比较,在两种实验设置(跨参与者识别与跨视角识别)中均取得了明显的改进结果。相比于使用原始数据的时空图神经卷积网络(spatio-temporal graph convolutional networks,ST-GCN),在NTU 60数据集中,跨参与者与跨视角的识别准确率分别提高了1.9%和3.0%;在NTU 120数据集中,跨参与者与跨环境的识别准确率分别提高了5.6%和4.5%。同时对比于数据增强,基于不变特征的通道增强方法在两种实验设置下都能有明显改善,更为有效地提升了网络的泛化能力。结论本文提出的不变特征与通道增强,直观有效地综合了传统特征和深度学习的优点,有效提高了骨架动作识别的准确性,改善了神经网络的泛化能力。 展开更多

关键词 运动分析 骨架动作识别 时空双仿射变换 微分不变量 通道增强 泛化能力

原文传递

基于图卷积神经网络的人体骨架动作识别研究进展 被引量：1

8

作者 杨巨成 张泉钰 +3 位作者 王波 王嫄 陈亚瑞 赵婷婷 《天津科技大学学报》 CAS 2023年第6期1-11,共11页

基于人体骨架的动作识别是实现计算机视觉智能的重要分支。本文对基于图卷积神经网络的人体骨架动作识别技术进行研究并分析,对基于频谱图卷积和空域图卷积的研究现状进行综述,并从邻接矩阵和输入特征两个角度详述了图卷积模型在人体骨... 基于人体骨架的动作识别是实现计算机视觉智能的重要分支。本文对基于图卷积神经网络的人体骨架动作识别技术进行研究并分析,对基于频谱图卷积和空域图卷积的研究现状进行综述,并从邻接矩阵和输入特征两个角度详述了图卷积模型在人体骨架动作识别领域的研究进展。此外,对现有的基于图卷积神经网络的人体骨架动作识别算法进行了分析比较,最后展望了图卷积神经网络在人体骨架动作识别领域的未来发展方向。 展开更多

关键词 图理论 图神经网络 图卷积神经网络 基于骨架的动作识别 时空域融合

下载PDF 职称材料

面向骨架行为识别的角空间对抗攻击方法

9

作者 曹男 刁云峰 +3 位作者 黄垠钦 杜润 李怀仙 程天健 《计算机工程与应用》 CSCD 北大核心 2023年第14期260-267,共8页

深度学习模型在基于骨架数据的行为识别任务中取得了较好的性能。然而,骨架行为识别模型的鲁棒性最近受到了质疑,因为它们很容易受到对抗攻击的威胁。目前现有的行为识别白盒攻击方法无法对对抗骨架动作样本的独特空间结构进行严格约束... 深度学习模型在基于骨架数据的行为识别任务中取得了较好的性能。然而,骨架行为识别模型的鲁棒性最近受到了质疑,因为它们很容易受到对抗攻击的威胁。目前现有的行为识别白盒攻击方法无法对对抗骨架动作样本的独特空间结构进行严格约束,其生成的对抗骨架动作样本为非流形对抗样本,即对抗分布远离了原有的数据分布,使得骨架动作不自然,很容易被人眼察觉。提出了一种利用球坐标系表示骨架结构的角空间对抗攻击方法,球坐标攻击(spherical coordinate attack,SCA)。在公开数据集上的实验结果表明,SCA可以发现大部分存在流形空间上的对抗样本,而目前已有的行为识别白盒攻击方法只能寻找到非流形空间上的对抗样本。 展开更多

关键词 对抗攻击 骨架行为识别 深度学习 球坐标 流形对抗样本

下载PDF 职称材料

基于关联策略的CTR-GCN人体骨骼行为识别

10

作者 刘廷龙 康斌 《计算机技术与发展》 2023年第10期42-46,共5页

针对骨骼的人体行为识别中表达人体的重要信息的关节点分区策略不能够充分表达行为的问题,提出了一种关联策略的CTR-GCN人体骨骼行为识别模型。首先,通过在智能信道拓扑的细化图卷积网络模型(CTR-GCN)上增加关联策略,能够动态地学习不... 针对骨骼的人体行为识别中表达人体的重要信息的关节点分区策略不能够充分表达行为的问题,提出了一种关联策略的CTR-GCN人体骨骼行为识别模型。首先,通过在智能信道拓扑的细化图卷积网络模型(CTR-GCN)上增加关联策略,能够动态地学习不同的拓扑结构和高效地在不同信道中放大连接点特征,同时提升关键关节点的关联特性;然后,网络模型通过学习一个共享的拓扑并且用特定的信道关系来重新定义每一个信道并通过理论分析统一模型;最后,重新定义模型结构。信道内部局部节点的关联信息得到有效体现,对细微的动作识别具有更强的聚合能力。提出的关联策略的智能信道拓扑图卷积网络模型(ASCTR-GCN)在基于智能拓扑细化卷积网络的基础上比CTR-GCN方法增强了关节点之间内在的关联性,大大提高了骨关节点信息在空间上的识别精度。实验结果表明,在常用的NTU RGB+D和NW-UCLA数据集中识别精度分别达到93.6%(X-View)、97.6%(X-Sub)、97.2%(Top 1),准确率得到提高。 展开更多

关键词 关节点 智能拓扑细化图卷积网络 关联策略 骨骼行为识别 特征提取

下载PDF 职称材料

基于骨架的行为识别中图池化的应用

11

作者 李卓 吴春雷 《计算机与数字工程》 2023年第11期2557-2562,共6页

图卷积网络在基于骨架的行为识别的任务中取得了良好的性能。然而并非所有的关节点都与动作的发生密切相关,这些无关的关节点阻碍了识别的精度。为此,图池化被应用到基于骨架的行为识别方法中。具体来说,首先通过一个图卷积层提取特征,... 图卷积网络在基于骨架的行为识别的任务中取得了良好的性能。然而并非所有的关节点都与动作的发生密切相关,这些无关的关节点阻碍了识别的精度。为此,图池化被应用到基于骨架的行为识别方法中。具体来说,首先通过一个图卷积层提取特征,随后自注意力图池化被用于去除特征较小的结点,然后继续使用图卷积网络进行特征提取并得到分类结果。通过这种方式,网络更加关注于动作发生相关的结点,而忽略那些无关结点信息所带来的影响,识别精度相应的得到提高。在两个大规模的公开数据集NTU RGB+D和Kinetics skeleton的实验证明了该方法的有效性。 展开更多

关键词 基于骨架的行为识别 图卷积 图池化 自注意力机制

下载PDF 职称材料

一种用于动作识别的双分支网络

12

作者 秦晓飞 蔡锐 +3 位作者 陈萌 张文奇 何常香 张学典 《光学仪器》 2022年第4期16-25,共10页

动作识别是计算机视觉领域的一项重要任务,主要有基于RGB视频和人体骨架两种数据模态的领域,主流方法分别是3D卷积神经网络和图卷积神经网络。针对视频和人体骨架两种数据模态的不同特点,设计了双分支网络分别对两种数据模态进行建模。... 动作识别是计算机视觉领域的一项重要任务,主要有基于RGB视频和人体骨架两种数据模态的领域,主流方法分别是3D卷积神经网络和图卷积神经网络。针对视频和人体骨架两种数据模态的不同特点,设计了双分支网络分别对两种数据模态进行建模。对于人体骨架数据,基于自注意力机制设计了图卷积神经网络,该算法能在基于骨架的动作识别任务中达到先进的性能。对于视频数据,采用3D卷积网络进行特征提取。同时,利用深监督方法对两种数据模态的中间特征进行监督,提高两种数据特征的耦合度,进一步提高网络效率。这种算法的网络结构简单,在NTU-RGBD60(CS)数据集上仅用3.37×10^(7)的参数量可达到95.6%的精度。 展开更多

关键词 基于人体骨架的动作识别 图卷积神经网络 自注意力机制 3D卷积神经网络

下载PDF 职称材料

基于时空注意力图卷积网络模型的人体骨架动作识别算法 被引量：16

13

作者 李扬志 袁家政 刘宏哲 《计算机应用》 CSCD 北大核心 2021年第7期1915-1921,共7页

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络(STA-GCN)模型的人体骨架动作识别算法。该模型包含空间注意力机制和时间注意力机制:空间注意力机制一方面利用光流特征中的瞬时运动... 针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络(STA-GCN)模型的人体骨架动作识别算法。该模型包含空间注意力机制和时间注意力机制:空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域,另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关注到具有判别力的非运动区域;时间注意力机制则自动地从长时复杂视频中挖掘出具有判别力的时域片段。将这二者融合到统一的图卷积网络(GCN)框架中,实现了端到端的训练。在Kinetics和NTU RGB+D两个公开数据集的对比实验结果表明,基于STA-GCN模型的人体骨架动作识别算法具有很强的鲁棒性与稳定性,与基于时空图卷积网络(ST-GCN)模型的识别算法相比,在Kinetics数据集上的Top-1和Top-5分别提升5.0和4.5个百分点,在NTURGB+D数据集的CS和CV上的Top-1分别提升6.2和6.7个百分点;也优于当前行为识别领域最先进(SOA)方法,如Res-TCN、STA-LSTM和动作-结构图卷积网络(AS-GCN)。结果表示,所提算法可以更好地满足人体行为识别的实际应用需求。 展开更多

关键词 图卷积网络 人体骨架行为识别 注意力机制 人体关节点 视频行为理解

下载PDF 职称材料

基于特征交互与自适应融合的骨骼动作识别

14

作者 李豆豆 李汪根 +2 位作者 夏义春 束阳 高坤 《计算机应用》 CSCD 北大核心 2023年第8期2581-2587,共7页

当前骨骼动作识别任务中仍存在数据预处理不合理、模型参数量大、识别精度低的缺点。为解决以上问题,提出了一种基于特征交互与自适应融合的骨骼动作识别方法 AFFGCN。首先,提出一种自适应分池数据预处理算法,以解决数据帧分布不均匀和... 当前骨骼动作识别任务中仍存在数据预处理不合理、模型参数量大、识别精度低的缺点。为解决以上问题,提出了一种基于特征交互与自适应融合的骨骼动作识别方法 AFFGCN。首先,提出一种自适应分池数据预处理算法,以解决数据帧分布不均匀和数据帧代表性差的问题;其次,引入一种多信息特征交互的方法来挖掘更深的特征,以提高模型的性能;最后,提出一种自适应特征融合(AFF)模块用于图卷积特征融合,以进一步提高模型性能。实验结果表明,该方法在NTU-RGB+D 60数据集上较基线方法轻量级多信息图卷积神经网络(LMI-GCN)在交叉主题(CS)与交叉视角(CV)两种评估设置上均提升了1.2个百分点,在NTU-RGB+D 120数据集上较基线方法 LMI-GCN在CS和交叉设置号(SS)评估设置上分别提升了1.5和1.4个百分点。而在单流和多流网络上的实验结果表明,相较于语义引导神经网络(SGN)等当前主流骨骼动作识别方法,所提方法的模型参数量更低、准确度更高,模型性能优势明显,更加适用于移动设备的部署。 展开更多

关键词 图卷积神经网络 自适应特征融合 人体骨骼动作识别 多信息融合 特征交互

下载PDF 职称材料

基于自注意力图卷积网络的人体骨架行为识别

15

作者 丁悦 吴志泽 《合肥大学学报》 2024年第5期94-101,共8页

目前基于普通图卷积网络的方法主要依赖局部性的图卷积操作,限制了其对远距离关节间复杂关联的灵活捕捉能力。提出一种自注意力增强图卷积网络(Self-Attention Enhanced Graph Convolutional Network,SGNet),根据骨架数据的特性,对每个... 目前基于普通图卷积网络的方法主要依赖局部性的图卷积操作,限制了其对远距离关节间复杂关联的灵活捕捉能力。提出一种自注意力增强图卷积网络(Self-Attention Enhanced Graph Convolutional Network,SGNet),根据骨架数据的特性,对每个关节点的通道进行独立的全局性建模,即通道特定的全局空间建模(Channel-Specific Global Spatial Modeling,C-GSM),并行于局部空间建模(Local Spatial Modeling,LSM),以提取局部和全局的空间特征表示。在两个大型且具有挑战性的基准数据集NTU RGB+D和NTU RGB+D120上进行了广泛的实验研究。与最新相关方法的比较,SGNet表现得非常有竞争性,在NTU RGB+D X-Sub和NTU RGB+D120 X-Set上分别取得了92.9%和90.7%的最高准确率。 展开更多

关键词 人体骨架行为识别 图卷积 自注意力

下载PDF 职称材料