-
题名特征金字塔结构的时序行为识别网络
被引量：5
- 1
-
-
作者
何嘉宇
雷军
李国辉
-
机构
国防科技大学信息系统工程重点实验室
-
出处
《中国图象图形学报》
CSCD
北大核心
2021年第7期1637-1647,共11页
-
基金
国家自然科学基金项目(71673293,61806215)。
-
文摘
目的时序行为识别是视频理解中最重要的任务之一,该任务需要对一段视频中的行为片段同时进行分类和回归,而视频中往往包含不同时间长度的行为片段,对持续时间较短的行为片段进行检测尤其困难。针对持续时间较短的行为片段检测问题,文中构建了3维特征金字塔层次结构以增强网络检测不同持续时长的行为片段的能力,提出了一种提案网络后接分类器的两阶段新型网络。方法网络以RGB连续帧作为输入,经过特征金字塔结构产生不同分辨率和抽象程度的特征图,这些不同级别的特征图主要在网络的后两个阶段发挥作用:1)在提案阶段结合锚方法,使得不同时间长度的锚段具有与之对应的不同大小的感受野,锚段的初次预测将更加准确;2)在感兴趣区域池化阶段,不同的提案片段映射给对应级别特征图进行预测,平衡了分类和回归对特征图抽象度和分辨率的需求。结果在THUMOS Challenge 2014数据集上对模型进行测试,在与没有使用光流特征的其他典型方法进行比较时,本文模型在不同交并比阈值上超过了对比方法3%以上,按类别比较时,对持续时间较短的行为片段检测准确率则普遍得到提升。消融性实验中,在交并比阈值为0.5时,带特征金字塔结构的网络则超过使用普通特征提取网络的模型1.8%。结论本文提出的基于3维特征金字塔特征提取结构的双阶段时序行为模型能有效提升对持续时间较短的行为片段的检测准确率。
-
关键词
时序行为识别
特征金字塔
深度学习
计算机视觉
视频理解
-
Keywords
temporal action localization
feature pyramid network
deep learning
computer vision
video understanding
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
