-
题名基于多维动态拓扑学习图卷积的骨架动作识别
- 1
-
-
作者
罗会兰
曹立京
-
机构
江西理工大学信息工程学院
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2024年第3期991-1001,共11页
-
基金
国家自然科学基金(No.61862031)
江西省主要学科技术带头人领军人才计划资助项目(No.20213BCJ22004)
江西省学位与研究生教育教学改革研究重点项目(No.JXYJG-2020-120)。
-
文摘
图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分:纯粹节点拓扑学习图卷积(pure Joint topology learning Graph Convolution,J-GC)、动态时序特异性拓扑学习图卷积(Dynamic Temporal-Wise topology learning Graph Convolution,DTW-GC)和通道特异性拓扑学习图卷积(Channel-Wise topology learning Graph Convolution,CW-GC).特别地,在DTW-GC中使用了动态骨架拓扑建模方法(Dynamic Skeleton Topology Learning,DSTL),以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积(Multi-Scale Temporal Convolution,MS-TC)相结合,本文构建了具有强大建模能力的图卷积网络.此外,为了对骨架数据的空间信息进行补充,本文额外引入了相对节点数据和相对骨骼数据进行多流网络的融合.本文所提出的方法在NTU-RGB+D与NTU-RGB+D 120数据集上分别取得了92.64%和89.29%的准确率,超过了当前最先进方法.
-
关键词
动作识别
深度学习
图卷积
动态骨架拓扑
数据融合
-
Keywords
action recognition
deep learning
graph convolution
dynamic skeleton topology
data fusion
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
