基于关键帧定位的人体异常行为识别

1

作者 刘雨萌 桑海峰 《电子测量与仪器学报》 CSCD 北大核心 2024年第3期104-111,共8页

近年来,基于视频的人体异常行为识别算法取得了一定的研究成果,但由于监控视频中存储的数据量庞大且视频时间跨度较长,在进行长视频或多行人异常动作检测与识别时,现有的识别方法并不适用。为此,提出了一种基于关键帧定位的人体异常行... 近年来,基于视频的人体异常行为识别算法取得了一定的研究成果,但由于监控视频中存储的数据量庞大且视频时间跨度较长,在进行长视频或多行人异常动作检测与识别时,现有的识别方法并不适用。为此,提出了一种基于关键帧定位的人体异常行为识别模型,首先,通过基于标准化流和注意力增强时空图卷积的关键帧定位网络学习正常帧的概率分布,筛选和提取出长视频中的异常帧(关键帧)序列,并将其作为后续网络模型的输入。然后,为了更好地捕捉人体姿势的运动特征和异常情况,提出一种融合注意力和增强残差的时空图卷积异常行为识别算法,将关键帧序列输入到该模型网络中以实现对监控视频中的人体异常行为的高效准确识别。使用公开数据集和自建数据集对该方法的有效性进行验证,实验结果表明,在公开数据集ShanghaiTech Campus上人体异常行为识别的TOP-1准确率达到82.86%,TOP-5准确率达到98.10%,该方法可以更好的完成监控视频中的人体异常行为识别。 展开更多

关键词 异常行为识别 关键帧定位 标准化流 时空图卷积 注意力机制

下载PDF 职称材料

基于改进时空图卷积网络的人员交互行为识别

2

作者 雷静思 刘双广 +1 位作者 刘乔寿 王祥雪 《计算机应用与软件》 北大核心 2024年第4期151-158,共8页

针对人员交互行为识别存在的多模态数据融合方法导致的识别准确率与模型性能无法同时满足的问题,提出一种基于改进时空图卷积网络的人员交互行为识别方法。将单模态骨架数据引入级联的密集时空图卷积块网络中获得丰富的时空特征信息,提... 针对人员交互行为识别存在的多模态数据融合方法导致的识别准确率与模型性能无法同时满足的问题,提出一种基于改进时空图卷积网络的人员交互行为识别方法。将单模态骨架数据引入级联的密集时空图卷积块网络中获得丰富的时空特征信息,提高特征复用率;设计一种增强时空图卷积网络(EST-GCN)单元提高网络对关节点之间的信息表征能力;引入一种运动特征因子衡量肢体不同关节的重要程度,提高模型识别效果。在Kinetics数据集和办案区场景数据集上的实验结果表明,所提出方法在识别效果上具有一定优势,且该方法在模型复杂度及运行效率上具有很好的竞争力。 展开更多

关键词 交互行为 时空图卷积网络 骨架数据 密集

下载PDF 职称材料

融合内外依赖的人体骨架动作识别模型

3

作者 毛国君 王一锦 《计算机工程与应用》 CSCD 北大核心 2023年第21期132-140,共9页

基于动态骨架图的人体动作识别是计算机视觉领域中的一个研究热点。传统识别方法大多是建立在人体骨架的局部自然物理连接上(内在依赖)。然而,许多隐含的非局部的关节连接有时对于人体动作识别是不可忽略的,如手脚的互动等。引入外在依... 基于动态骨架图的人体动作识别是计算机视觉领域中的一个研究热点。传统识别方法大多是建立在人体骨架的局部自然物理连接上(内在依赖)。然而,许多隐含的非局部的关节连接有时对于人体动作识别是不可忽略的,如手脚的互动等。引入外在依赖概念来表示这种隐式的非物理连接,并通过内、外依赖机制来处理骨架图,完成内、外依赖的空间图卷积融合。通过设计合适的时间卷积模块,进一步构建融合内外依赖的的时空图卷积网络(IEDSTGCN)。实验表明,IED-STGCN在Kinetics数据集上的识别精度比现有的时空图卷积网络(ST-GCN)提升了2.5个百分点,在X-Sub和X-View两个数据集上的识别精度分别比现有的ST-GCN模型提升了3.4和3.8个百分点。该研究的主要技术有时间卷积(TC)、内在依赖图卷积(IGC)以及外在依赖图卷积(EGC)等,通过消融实验说明了这些技术的有效性。 展开更多

关键词 动作识别 时空图卷积网络 内在依赖 外在依赖

下载PDF 职称材料

多尺度全局自适应注意力图神经网络

4

作者 苟茹茹 杨文柱 +1 位作者 罗梓菲 原云峰 《计算机科学与探索》 CSCD 北大核心 2023年第12期3039-3051,共13页

针对动态多尺度图神经网络的编解码网络中存在的身体部位内部关节点间关联度不高和感受野受限制导致运动预测误差偏高的问题,提出了一种用于人体运动预测的多尺度全局自适应注意力图神经网络,降低运动预测误差。提出了一种划分骨架关节... 针对动态多尺度图神经网络的编解码网络中存在的身体部位内部关节点间关联度不高和感受野受限制导致运动预测误差偏高的问题,提出了一种用于人体运动预测的多尺度全局自适应注意力图神经网络,降低运动预测误差。提出了一种划分骨架关节点的多距离分区策略,用于提高身体部位关节点信息在时间和空间上的关联程度;提出了全局自适应注意力时空卷积神经网络,以动态地加强网络对某一动作有贡献的时空关节点的关注度;将上述两处改进集成到图卷积神经网络门控循环单元中,以增强解码网络的状态传播性能,并降低预测误差。实验表明,与最新方法相比,该方法在Human 3.6M、CMU Mocap和3DPW数据集上的预测误差都有所下降。 展开更多

关键词 运动预测 多距离分区策略 全局自适应注意力 时空图卷积神经网络 门控循环单元

下载PDF 职称材料

基于人体骨架模型的远红外视频下老人摔倒检测 被引量：1

5

作者 王保栋 江鹏飞 +1 位作者 董子昊 李金屏 《济南大学学报（自然科学版）》 CAS 北大核心 2022年第1期65-73,共9页

利用远红外光谱视频进行老人摔倒检测研究,提出一种基于人体骨架模型的远红外视频下老人摔倒检测算法;采用YOLOv4-Tiny算法获取远红外视频中人体目标位置,再利用COCO数据集训练的区域多人姿态估计网络模型,直接对自采集的远红外视频进... 利用远红外光谱视频进行老人摔倒检测研究,提出一种基于人体骨架模型的远红外视频下老人摔倒检测算法;采用YOLOv4-Tiny算法获取远红外视频中人体目标位置,再利用COCO数据集训练的区域多人姿态估计网络模型,直接对自采集的远红外视频进行人体骨架提取,得到人体关节点序列,然后对人体骨架建立时空图卷积模型进行特征提取进而检测摔倒行为,并在自采集的远红外与可见光数据集中进行算法测试。结果表明,该算法对远红外数据集的摔倒检测准确率为87.71%,验证了算法对远红外视频下摔倒行为检测的有效性。 展开更多

关键词 老人摔倒检测 远红外视频 人体骨架模型 时空图卷积模型

下载PDF 职称材料

基于路径签名的改进时空图卷积网络

6

作者 赵艺 《计算机工程与科学》 CSCD 北大核心 2022年第12期2213-2219,共7页

针对时空图卷积网络ST-GCN中GCN的关节邻接图不易学习远端关节之间的语义信息和TCN在描述时间信息方面存在不足的问题,引入了数字签名预处理来增强数据,提出了基于路径签名的改进时空图卷积网络SSIT-GCN。首先将关节位置坐标的时间序列... 针对时空图卷积网络ST-GCN中GCN的关节邻接图不易学习远端关节之间的语义信息和TCN在描述时间信息方面存在不足的问题,引入了数字签名预处理来增强数据,提出了基于路径签名的改进时空图卷积网络SSIT-GCN。首先将关节位置坐标的时间序列输入签名层进行数据预处理,在该层时间序列通过嵌入算法被转换为多维路径,将其划分为多条路径并计算每条路径的签名特征;其次重新设计GCN的关节邻接矩阵,并用反卷积来代替补零,以保持TCN的尺寸不变,还引入1×1的卷积核增加非线性来改进ST-GCN,得到改进时空图卷积网络SIT-GCN;最后用签名特征代替原始数据输入SITGCN,得到最终的输出结果。实验结果表明,基于路径签名的改进时空图卷积网络大大提高了训练精度,缩短了训练时间,对动态手势识别有较好的识别能力和识别速度。 展开更多

关键词 手势识别 路径签名 时空图卷积网络 监督学习 签名层

下载PDF 职称材料

基于图卷积记忆网络对珠海臭氧时空预测

7

作者 孙磊 蓝玉峰 +6 位作者 梁秀姬 孙弦 聂会文 苏烨康 贺芸萍 王静 夏冬 《中山大学学报（自然科学版）（中英文）》 CAS CSCD 北大核心 2024年第3期48-59,共12页

臭氧(O_(3))已成为影响珠三角(乃至广东)空气质量达标的首要因素。数据驱动的统计模型(较数值模式)虽展现出改进的预报能力,但多数未能解析站点数据(非欧结构)之间的空间依赖性。本文基于珠海市6个环保国控站及其周边气象站监测数据,通... 臭氧(O_(3))已成为影响珠三角(乃至广东)空气质量达标的首要因素。数据驱动的统计模型(较数值模式)虽展现出改进的预报能力,但多数未能解析站点数据(非欧结构)之间的空间依赖性。本文基于珠海市6个环保国控站及其周边气象站监测数据,通过构建时空协同的图卷积记忆网络(GCN-LSTM)开展多站点未来3天逐小时O_(3)质量浓度预报。结果表明:GCN_LSTM在不同预报时效均准确还原了O_(3)的年、季节和昼夜变化特征,但对日变化的预报技巧随预报时效增加下降明显。通过与业务数值模式(GRACEs)和长短期记忆网络(LSTM)对比发现:GCN-LSTM表现最优,其72 h预报时效内RMSE和R均值分别为27.13μg/m^(3)和0.64,LSTM表现次之(RMSE=28.44μg/m^(3);R=0.61),而GRACEs与统计模型存在明显差距(RMSE=40.93μg/m^(3);R=0.33)。此外,相较于LSTM,GCN-LSTM全局考虑所有站点及其之间的相互联系,不仅将计算速度提高了71%,而且在不同站点的表现也更为优秀和稳定,同时捕捉秋季O_(3)污染事件的能力也有所提高。最后,敏感性实验揭示出考虑相关性较高的变量作为预报因子可以提高模型能力。 展开更多

关键词 臭氧 时空预报 机器学习 图卷积记忆网络

下载PDF 职称材料

基于骨架序列多算法的粮仓作业人员异常行为视频识别

8

作者 侯晓龙 杨卫东 +2 位作者 李磊 于俊伟 许启铿 《粮油食品科技》 CAS CSCD 北大核心 2024年第3期201-210,共10页

粮仓是保障粮食储藏安全的重要设施。粮仓为封闭大空间,仓内光照昏暗、空气流通差,熏蒸、气调等作业增加了人员安全隐患,通过仓内安防视频对作业人员的异常行为进行识别与分析,是作业人员安全操作的一项重要技术保障。提出了一种基于骨... 粮仓是保障粮食储藏安全的重要设施。粮仓为封闭大空间,仓内光照昏暗、空气流通差,熏蒸、气调等作业增加了人员安全隐患,通过仓内安防视频对作业人员的异常行为进行识别与分析,是作业人员安全操作的一项重要技术保障。提出了一种基于骨架序列多算法的粮仓内作业人员异常行为的视频识别算法。首先,利用YOLOv3tiny模型对人体进行快速检测,结合Sort对多目标进行运动轨迹跟踪,通过AlphaPose模型提取人体骨架坐标序列及权重信息;进而,根据人体骨架自然连接节点构成的实际空间图(RSG)和虚拟人体的重心与头、手、脚互连构建的虚拟空间图(VSG),基于人体动力学重心与手脚互动的平衡性,提取仓内作业人员异常行为的空间特征和串联时间卷积(TC)的时空特征;最后,提出了虚实结合的时空图卷积网络(VR-STGCN)仓内作业人员的异常行为视频识别算法。同时自建了混合数据集,并将VR-STGCN与SSD、PCANet、Two-StreamCNN、STGCN等四种算法进行了对比实验与分析。结果表明:VR-STGCN各项指标均优于其他四种算法;VR-STGCN能够在光线不足、多目标、远距离等复杂环境下准确地识别出仓内人员的跌倒、爬行、躺平等异常行为,识别准确率达到97.7%,处理速度为18.67 fps,能够实时分析作业人员异常行为。研究成果为复杂环境下粮仓作业人员的安全保障提供了一种全新高效的技术。 展开更多

关键词 时空图卷积 异常行为识别 人体动力学 粮仓作业安全

下载PDF 职称材料

基于关键帧定位和时空图卷积的异常行为识别 被引量：5

9

作者 刘嘉宇 陈平 《机械与电子》 2022年第1期48-53,58,共7页

为提高监控视频中行人异常行为检测效率,提出了结合关键帧定位和时空图卷积的异常行为识别方法。该方法在人体骨架关键点检测的基础上,采用关键点运动特性定位视频中行人异常行为关键序列,利用时空图卷积网络可以提取行人时空特征的优点... 为提高监控视频中行人异常行为检测效率,提出了结合关键帧定位和时空图卷积的异常行为识别方法。该方法在人体骨架关键点检测的基础上,采用关键点运动特性定位视频中行人异常行为关键序列,利用时空图卷积网络可以提取行人时空特征的优点,在关键帧序列上构建人体骨架时空图,同时建立基于瓶颈残差模块的时空图卷积网络行为识别模型,实现对监控视频中行人异常行为的高效识别。采用自建数据集和公开数据集对该方法有效性进行检验,结果表明,该关键帧定位算法可高效实现异常行为定位,结合基于瓶颈残差模块时空图卷积网络,在减少时空图卷积网络计算复杂度的同时提升了网络性能,能够有效判断行人异常行为。 展开更多

关键词 异常行为 骨架检测 关键帧 骨架时空图 瓶颈残差 时空图卷积

下载PDF 职称材料

双分支时空关键点特征增强人体姿态迁移网络 被引量：1

10

作者 冉启材 王亮军 +1 位作者 方昱春 倪兰 《中国科技论文》 CAS 北大核心 2023年第3期252-258,共7页

为了充分利用动作序列之间的先验信息以提升姿态迁移模型的性能,提出了一个基于时空图卷积的双流关键点特征增强模块,即双分支时空图姿态迁移模块(dual-branch spatial temporal graph pose transfer block,DSTG-PTB)。DSTG-PTB从高帧... 为了充分利用动作序列之间的先验信息以提升姿态迁移模型的性能,提出了一个基于时空图卷积的双流关键点特征增强模块,即双分支时空图姿态迁移模块(dual-branch spatial temporal graph pose transfer block,DSTG-PTB)。DSTG-PTB从高帧率和低帧率2个不同的分支进行特征提取。输入的关键点数据首先经过位置嵌入和速度嵌入,然后构建人体骨骼关键点的时空图,并利用时空图卷积网络挖掘动作关键点之间的关联特征,最后将2个分支的特征进行融合并嵌入现有的姿态迁移模型中。对4个序列动作数据集进行了全面的定性和定量实验分析,结果表明,所提DSTG-PTB可以有效提升姿态迁移网络的性能,生成更符合用户审美的序列图像。 展开更多

关键词 时空图卷积 姿态迁移 特征增强 图像生成

下载PDF 职称材料

融合时空图卷积的多人交互行为识别 被引量：5

11

作者 成科扬 吴金霞 +2 位作者 王文杉 荣兰 詹永照 《中国图象图形学报》 CSCD 北大核心 2021年第7期1681-1691,共11页

目的多人交互行为的识别在现实生活中有着广泛应用。现有的关于人类活动分析的研究主要集中在对单人简单行为的视频片段进行分类,而对于理解具有多人之间关系的复杂人类活动的问题还没有得到充分的解决。方法针对多人交互动作中两人肢... 目的多人交互行为的识别在现实生活中有着广泛应用。现有的关于人类活动分析的研究主要集中在对单人简单行为的视频片段进行分类,而对于理解具有多人之间关系的复杂人类活动的问题还没有得到充分的解决。方法针对多人交互动作中两人肢体行为的特点,本文提出基于骨架的时空建模方法,将时空建模特征输入到广义图卷积中进行特征学习,通过谱图卷积的高阶快速切比雪夫多项式进行逼近。同时对骨架之间的交互信息进行设计,通过捕获这种额外的交互信息增加动作识别的准确性。为增强时域信息的提取,创新性地将切片循环神经网络(recurrent neural network,RNN)应用于视频动作识别,以捕获整个动作序列依赖性信息。结果本文在UT-Interaction数据集和SBU数据集上对本文算法进行评估,在UT-Interaction数据集中,与H-LSTCM(hierarchical long short-term concurrent memory)等算法进行了比较,相较于次好算法提高了0.7%,在SBU数据集中,相较于GCNConv(semi-supervised classification with graph convolutional networks)、RotClips+MTCNN(rotating cliips+multi-task convolutional neural netowrk)、SGC(simplifying graph convolutional)等算法分别提升了5.2%、1.03%、1.2%。同时也在SBU数据集中进行了融合实验,分别验证了不同连接与切片RNN的有效性。结论本文提出的融合时空图卷积的交互识别方法,对于交互类动作的识别具有较高的准确率,普遍适用于对象之间产生互动的行为识别。 展开更多

关键词 动作识别 交互信息 时空建模 图卷积 切片循环神经网络(RNN)

原文传递

面向交通流量预测的时空Graph-CoordAttention网络

12

作者 刘建松 康雁 +2 位作者 李浩 王韬 王海宁 《计算机科学》 CSCD 北大核心 2023年第S01期558-564,共7页

交通预测是城市智能交通系统的一个重要研究组成部分,使人们的出行更加效率和安全。由于复杂的时间和空间依赖性,准确预测交通流量仍然是一个巨大的挑战。近年来,图卷积网络(GCN)在交通预测方面表现出巨大的潜力,但基于GCN的模型往往侧... 交通预测是城市智能交通系统的一个重要研究组成部分,使人们的出行更加效率和安全。由于复杂的时间和空间依赖性,准确预测交通流量仍然是一个巨大的挑战。近年来,图卷积网络(GCN)在交通预测方面表现出巨大的潜力,但基于GCN的模型往往侧重于单独捕捉时间和空间的依赖性,忽视了时间和空间依赖性之间的动态关联性,不能很好地融合它们。此外,以前的方法使用现实世界的静态交通网络来构建空间邻接矩阵,这可能忽略了动态的空间依赖性。为了克服这些局限性,并提高模型的性能,提出了一种新颖的时空Graph-CoordAttention网络(STGCA)。具体来说,提出了时空同步模块,用来建模不同时刻的时空依赖交融关系。然后,提出了一种动态图学习的方案,基于车流量之间数据关联,挖掘出潜在的图信息。在4个公开的数据集上和现有基线模型进行对比实验,STGCA表现了优异的性能。 展开更多

关键词 交通流量预测 时空预测 图卷积网络 注意力机制 时空依赖

下载PDF 职称材料

基于骨骼关键点的人体行为识别算法 被引量：1

13

作者 梁国权 《电视技术》 2023年第2期15-19,共5页

当前,人体行为识别在视频监控等多领域得到了重要的应用。针对传统的算法检测所呈现出的不足之处如准确性差、易受环境背景影响等问题,采用基于骨骼与关键点的方式进行行为识别。首先,使用人体姿态估计算法Openpose获取视频中人体各个... 当前,人体行为识别在视频监控等多领域得到了重要的应用。针对传统的算法检测所呈现出的不足之处如准确性差、易受环境背景影响等问题,采用基于骨骼与关键点的方式进行行为识别。首先,使用人体姿态估计算法Openpose获取视频中人体各个关节点的坐标信息,然后通过时空图卷积神经网络(Spatial-Temporal Graph Convolution Networks,ST-GCN)进行人体行为识别。为了提高识别精度,在原有算法上加入通道注意力机制。实验结果表明,所提的算法在NTU-RGB+D数据集上,C-SUB和C-VIEW的top-1分别取得83.62%与90.86%的精度,相比ST-GCN分别提升了2.12%和2.56%。在自建数据集上,所提算法得到了78.33%的精度,相比ST-GCN的71.67%,提高了6.66%。 展开更多

关键词 行为识别 时空图卷积神经网络 人体骨架序列 注意力机制

下载PDF 职称材料

基于轻量时空图卷积模型的路网交通流预测 被引量：4

14

作者 贺文武 裴博彧 +1 位作者 毛国君 陈维亚 《铁道科学与工程学报》 EI CAS CSCD 北大核心 2022年第9期2552-2562,共11页

交通流预测是智能交通系统的重要组成部分。针对路网交通流天然具有的时空依赖性,结合交通流时序因果卷积与路网空间拓扑结构图卷积,提出一种基于递增式丢边的轻量时空图卷积神经网络模型,实现时空特征的有效融合,建立路网交通流高精度... 交通流预测是智能交通系统的重要组成部分。针对路网交通流天然具有的时空依赖性,结合交通流时序因果卷积与路网空间拓扑结构图卷积,提出一种基于递增式丢边的轻量时空图卷积神经网络模型,实现时空特征的有效融合,建立路网交通流高精度预测模型,提高交通流预测精度的同时降低其计算资源消耗、缩短预测响应时间。模型以单“三明治”式时空卷积模块为核心组件,减少时间卷积与空间卷积间的高计算消耗交互,有效提取交通流时空特征的同时保持整体结构轻量,其中的“厚夹心”空间图卷积采用多层图卷积网络以捕获远程高阶邻居节点信息、扩大空间感受野,并引入递增式丢边策略分阶处理邻居节点边,消解其潜在的过平滑。在模型训练中引入动态初始学习率,随模型训练进程演进动态调适学习率,进一步提升优化器性能,保证模型整体上的优越性。以真实基准交通流数据开展实验,对比分析本文所构建模型与多种相关基线模型的训练时间、预测精度等指标,并分析讨论所建模型在路网各节点上预测结果的离散性及其精度,解析多层图卷积可能具有的过平滑现象以及递增式丢边策略的消解能力。研究结果表明,本文所构建模型能有效捕获路网交通流的时空特性,以更少的训练时间获得更高的预测精度。 展开更多

关键词 智慧交通 路网交通流预测 轻量时空图卷积 递增式丢边 动态初始学习率

下载PDF 职称材料

耦合时空因素的城市供水管网压力预测研究

15

作者 柏莉 黄春洋 +2 位作者 何敏 许峰 姚丹 《市政技术》 2023年第11期151-157,164,共8页

为了更好地监控供水管网运行状态,辅助压力调度,提出了基于时间图卷积网络(T-GCN)的供水管网压力时空预测方法。将供水管网中压力传感器的空间分布与历史压力数据有效结合,分析了供水管网压力预测的时空依赖关系,利用真实供水管网数据... 为了更好地监控供水管网运行状态,辅助压力调度,提出了基于时间图卷积网络(T-GCN)的供水管网压力时空预测方法。将供水管网中压力传感器的空间分布与历史压力数据有效结合,分析了供水管网压力预测的时空依赖关系,利用真实供水管网数据分析了不同时间步长下T-GCN模型对压力的时空预测性能,并与其他模型预测精度进行了对比。结果表明,T-GCN模型预测效果比HA、SVR、ARIMA等传统模型更好,并且随着时间步长的增加,其精度和R2值要优于单独GCN模型和GRU模型。T-GCN模型能够有效从传感器网络中获取到空间和时间特征,实现对供水管网压力更加准确的时空预测。 展开更多

关键词 供水管网 压力预测 时空因素 图神经网络 时间图卷积网络

下载PDF 职称材料

基于时空图卷积的动态网络节点重要性研究

16

作者 张锴 潘志松 +1 位作者 胡谷雨 李昆援 《大学数学》 2023年第4期65-71,共7页

关键节点通常是复杂网络中处于核心位置的节点,针对动态网络核心节点发现的问题,提出了基于时空图卷积的动态网络节点中心性特征提取模型,基于该模型对时序网络的节点进行重要性排序,通过实验数据的对比验证了模型在动态网络核心节点识... 关键节点通常是复杂网络中处于核心位置的节点,针对动态网络核心节点发现的问题,提出了基于时空图卷积的动态网络节点中心性特征提取模型,基于该模型对时序网络的节点进行重要性排序,通过实验数据的对比验证了模型在动态网络核心节点识别上的准确性. 展开更多

关键词 动态网络 节点排序 时空图卷积 特征向量中心性

下载PDF 职称材料

基于图卷积的3D骨架数据的双人交互行为识别

17

作者 张静亭 曹江涛 姬晓飞 《辽宁石油化工大学学报》 CAS 2023年第3期86-90,共5页

针对图卷积神经网络的双人交互行为识别方法存在交互语义信息表达不充分的问题,提出了一种新的双人交互时空图卷积神经网络(DHI-STGCN)用于行为识别的方法。该网络包含空间子网络模块和时间子网络模块。将基于交互动作视频获取的3D骨架... 针对图卷积神经网络的双人交互行为识别方法存在交互语义信息表达不充分的问题,提出了一种新的双人交互时空图卷积神经网络(DHI-STGCN)用于行为识别的方法。该网络包含空间子网络模块和时间子网络模块。将基于交互动作视频获取的3D骨架数据生成一种双人交互动作的空间动作图用于空间信息的表示,图中根据关节点位置信息对双人之间的连接边赋予不同的权重。时间信息处理中,在构造的邻接矩阵中增加了上下文时间信息的联系,图中关节点与其一定时间范围内的节点增加连接。将生成的时空图数据送入空间图卷积网络模块,结合时间图卷积网络模块增强帧间运动特征连续性进行时序建模。该模型充分考虑了双人交互动作的紧密关系,具有较强的鲁棒性,获得了比现有模型更好的交互动作识别效果。 展开更多

关键词 时空图卷积 骨架数据 双人交互 行为识别

下载PDF 职称材料

高度分层分区的图卷积交警手势识别技术 被引量：2

18

作者 张丞 侯义斌 何坚 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2022年第7期1037-1046,共10页

针对无人驾驶汽车自动识别连续交警手势的需求,提出高度分层分区的图卷积交警手势识别方法.首先,依据人体部件在空间域内的自然、辅助和自身连接关系以及时间域内的关联关系建立交警手势时空图模型,并从图像序列卷积预测模型参数;其次,... 针对无人驾驶汽车自动识别连续交警手势的需求,提出高度分层分区的图卷积交警手势识别方法.首先,依据人体部件在空间域内的自然、辅助和自身连接关系以及时间域内的关联关系建立交警手势时空图模型,并从图像序列卷积预测模型参数;其次,引入时空图卷积网络,提出以人物自然站立状态下时空图顶点相对高度差为标签的图卷积高度分层分区策略,打破现有分区策略对图结构的限制;最后,设计保留时间维度的空间域平均层网络输出架构,在减少特征数量的同时适配多对多序列预测模式,达到识别连续交警手势的目的.与领域内代表性方法的对比实验表明,该方法的识别准确率显著提高,不同手势之间混淆率仅为0.1%,Jaccard指数超过对比方法. 展开更多

关键词 交警手势 连续手势 手势识别 时空图 图卷积

下载PDF 职称材料

用于交通流预测的自适应图生成跳跃网络 被引量：1

19

作者 黄靖 钟书远 +1 位作者 文元桥 罗坤 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2021年第10期1825-1833,共9页

针对交通流数据复杂的时空相关性,提出新的基于深度学习的自适应图生成跳跃网络(AG-JNet模型).该模型由2个时空模块组成,每个时空模块分为2支,分别对时间相关性和空间相关性建模.时间建模采用多层扩张卷积,在增大时间维度感受野的同时... 针对交通流数据复杂的时空相关性,提出新的基于深度学习的自适应图生成跳跃网络(AG-JNet模型).该模型由2个时空模块组成,每个时空模块分为2支,分别对时间相关性和空间相关性建模.时间建模采用多层扩张卷积,在增大时间维度感受野的同时降低计算开销.空间建模采用自适应图生成卷积,在不依赖图的固定结构下提取空间相关性.在时间和空间的建模中均采用跳跃连接堆叠多层,以提升模型的深层特征提取能力,将时间特征和空间特征进行门控融合,提取出用于交通流量预测的时空特征.在2个真实数据集PeMSD4和PeMSD8上的实验表明,AG-JNet在不同指标下取得了优异的性能. 展开更多

关键词 交通流量预测 时空相关性 自适应图生成 扩张卷积 跳跃连接

下载PDF 职称材料

基于时空特征图卷积网络的配电网实时状态估计方法 被引量：12

20

作者 陈源奕 王玉彬 杨强 《高电压技术》 EI CAS CSCD 北大核心 2021年第7期2386-2395,共10页

为了在考虑负荷时空特性以及不健全量测的场景下实现配电网的实时、高容错状态估计,本文从时空图的角度提出一种基于时空特征图卷积网络的动态状态估计算法。首先将配电网量测数据组成三维张量;然后利用时空特征图卷积网络分别提取量测... 为了在考虑负荷时空特性以及不健全量测的场景下实现配电网的实时、高容错状态估计,本文从时空图的角度提出一种基于时空特征图卷积网络的动态状态估计算法。首先将配电网量测数据组成三维张量;然后利用时空特征图卷积网络分别提取量测数据的空间拓扑、时间序列和节点属性上的特征信息,通过特征融合得到实时状态估计结果;最后根据状态估计结果生成虚拟量测以消除不良数据的影响。实验结果表明,本状态估计方法具有较高的鲁棒性,且准确性和计算速度均优于传统方法。研究结果可为基于机器学习的电力系统状态估计方法提供参考。 展开更多

关键词 配电网 实时状态估计 时空特征图卷积网络 负荷时空特性 不健全量测 虚拟量测

下载PDF 职称材料