自动驾驶车辆在行驶过程中,需要对行人和车辆同时完成目标检测、实例分割和目标跟踪三个任务。提出一种基于深度学习的环境感知模型同时对三个任务进行多任务学习。首先,通过卷积神经网络对连续帧图像提取时空特征;然后,通过注意力机制...自动驾驶车辆在行驶过程中,需要对行人和车辆同时完成目标检测、实例分割和目标跟踪三个任务。提出一种基于深度学习的环境感知模型同时对三个任务进行多任务学习。首先,通过卷积神经网络对连续帧图像提取时空特征;然后,通过注意力机制对时空特征进行去耦再融合,充分利用任务间的相关性,实现不同任务对时空特征的差异化选择;最后,为平衡不同任务间的学习速率,使用动态加权平均的方式对模型进行训练。在KITTI数据集上的实验结果表明,所提模型在目标检测方面,比CenterTrack模型F1得分提高了0.6个百分点;在目标跟踪方面,比TraDeS(Track to Detect and Segment)模型多目标跟踪精度(MOTA)提高了0.7个百分点;在实例分割方面,比SOLOv2(Segmenting Objects by LOcations version 2)模型AP_(50)和AP_(75)分别提高了7.4和3.9个百分点。展开更多
文摘自动驾驶车辆在行驶过程中,需要对行人和车辆同时完成目标检测、实例分割和目标跟踪三个任务。提出一种基于深度学习的环境感知模型同时对三个任务进行多任务学习。首先,通过卷积神经网络对连续帧图像提取时空特征;然后,通过注意力机制对时空特征进行去耦再融合,充分利用任务间的相关性,实现不同任务对时空特征的差异化选择;最后,为平衡不同任务间的学习速率,使用动态加权平均的方式对模型进行训练。在KITTI数据集上的实验结果表明,所提模型在目标检测方面,比CenterTrack模型F1得分提高了0.6个百分点;在目标跟踪方面,比TraDeS(Track to Detect and Segment)模型多目标跟踪精度(MOTA)提高了0.7个百分点;在实例分割方面,比SOLOv2(Segmenting Objects by LOcations version 2)模型AP_(50)和AP_(75)分别提高了7.4和3.9个百分点。
