针对人体动作识别任务中特征值选取不当导致识别率低、使用多模态数据导致训练成本高等问题,提出一种轻量级人体动作识别方法。首先使用OpenPose、PoseNet提取出人体骨架信息,使用BWT69CL传感器提取姿势信息;其次对数据进行预处理、特...针对人体动作识别任务中特征值选取不当导致识别率低、使用多模态数据导致训练成本高等问题,提出一种轻量级人体动作识别方法。首先使用OpenPose、PoseNet提取出人体骨架信息,使用BWT69CL传感器提取姿势信息;其次对数据进行预处理、特征融合,对人体动作进行深度学习分类识别;最后,为验证此方法的有效性,在公开数据集WISDM、UCIHAR、HASC和自建的人体动作数据集上进行实验验证,并使用改进的目标引导注意力机制(target-guided attention,TGA)–长短期记忆(long short term memory,LSTM)网络输出最终的分类结果。实验结果表明,在自建数据集下融合姿势和骨架特征达到99.87%准确率,相比于只使用姿势信息特征,识别准确率提高了约5.31个百分点;相比于只使用人体骨架特征,识别准确率提高了约1.87个百分点;在识别时间上相比于只使用姿势信息,识别时间降低了约29.73 s;相比于只使用人体骨架数据,识别时间降低了约9 s。使用该方法能及时有效地反映人体的运动意图,有助于提高人体动作和行为的识别准确率和训练效率。展开更多
在机器人领域中,基于人类骨架关节特征描述的动作识别方法被广泛地应用于人机协作任务,以帮助机器人理解人类的行为。对动作序列中的时间信息和空间信息挖掘是其中的一个重要问题,不充分的信息提取往往会导致算法鉴别力低。鉴于此,从骨...在机器人领域中,基于人类骨架关节特征描述的动作识别方法被广泛地应用于人机协作任务,以帮助机器人理解人类的行为。对动作序列中的时间信息和空间信息挖掘是其中的一个重要问题,不充分的信息提取往往会导致算法鉴别力低。鉴于此,从骨架旋转投影出发,提出了一种能够充分挖掘动作序列中时空信息的高鉴别力人类骨架关节特征描述方法,即骨架旋转投影描述子(Rotational and projective skeleton signature,RPSS)。建立以人为中心的正交坐标系;从训练序列中学习躯干尺寸并进行替换;将骨架分别绕坐标轴旋转一系列固定间隔的角度,并向某一平面进行投影以获取足量的空间信息,将多次投影得到的子特征进行串联后依据帧顺序并联得到序列的特征;利用方向梯度直方图对特征矩阵进行提取以生成最终的基于关节特征且蕴含丰富时空信息的描述子RPSS。所提出的RPSS描述子在多个公开的经典数据集上进行了测试,并与基于关节描述的经典和与学习相结合的先进骨架识别方法进行对比,结果表明所提出的方法在鉴别力上具有较大的优势。添加不同程度噪声与计算动作序列平均处理时长的试验亦说明该方法具有较强的鲁棒性和实时性。展开更多
文摘针对人体动作识别任务中特征值选取不当导致识别率低、使用多模态数据导致训练成本高等问题,提出一种轻量级人体动作识别方法。首先使用OpenPose、PoseNet提取出人体骨架信息,使用BWT69CL传感器提取姿势信息;其次对数据进行预处理、特征融合,对人体动作进行深度学习分类识别;最后,为验证此方法的有效性,在公开数据集WISDM、UCIHAR、HASC和自建的人体动作数据集上进行实验验证,并使用改进的目标引导注意力机制(target-guided attention,TGA)–长短期记忆(long short term memory,LSTM)网络输出最终的分类结果。实验结果表明,在自建数据集下融合姿势和骨架特征达到99.87%准确率,相比于只使用姿势信息特征,识别准确率提高了约5.31个百分点;相比于只使用人体骨架特征,识别准确率提高了约1.87个百分点;在识别时间上相比于只使用姿势信息,识别时间降低了约29.73 s;相比于只使用人体骨架数据,识别时间降低了约9 s。使用该方法能及时有效地反映人体的运动意图,有助于提高人体动作和行为的识别准确率和训练效率。
文摘在机器人领域中,基于人类骨架关节特征描述的动作识别方法被广泛地应用于人机协作任务,以帮助机器人理解人类的行为。对动作序列中的时间信息和空间信息挖掘是其中的一个重要问题,不充分的信息提取往往会导致算法鉴别力低。鉴于此,从骨架旋转投影出发,提出了一种能够充分挖掘动作序列中时空信息的高鉴别力人类骨架关节特征描述方法,即骨架旋转投影描述子(Rotational and projective skeleton signature,RPSS)。建立以人为中心的正交坐标系;从训练序列中学习躯干尺寸并进行替换;将骨架分别绕坐标轴旋转一系列固定间隔的角度,并向某一平面进行投影以获取足量的空间信息,将多次投影得到的子特征进行串联后依据帧顺序并联得到序列的特征;利用方向梯度直方图对特征矩阵进行提取以生成最终的基于关节特征且蕴含丰富时空信息的描述子RPSS。所提出的RPSS描述子在多个公开的经典数据集上进行了测试,并与基于关节描述的经典和与学习相结合的先进骨架识别方法进行对比,结果表明所提出的方法在鉴别力上具有较大的优势。添加不同程度噪声与计算动作序列平均处理时长的试验亦说明该方法具有较强的鲁棒性和实时性。
