-
题名基于交叉注意力机制的煤矿井下不安全行为识别
被引量：7
- 1
-
-
作者
饶天荣
潘涛
徐会军
-
机构
国能信息技术有限公司
-
出处
《工矿自动化》
北大核心
2022年第10期48-54,共7页
-
基金
国家能源集团科技创新项目(GJNY-20-159)。
-
文摘
对煤矿井下人员不安全行为进行实时视频监控及报警是提升安全生产水平的重要手段。煤矿井下环境复杂,监控视频质量不佳,导致常规基于图像特征或基于人体关键点特征的行为识别方法在煤矿井下应用受限。提出了一种基于交叉注意力机制的多特征融合行为识别模型,用于识别煤矿井下人员不安全行为。针对分段视频图像,采用3D ResNet101模型提取图像特征,采用openpose算法和ST-GCN(时空图卷积网络)提取人体关键点特征;采用交叉注意力机制对图像特征和人体关键点特征进行融合处理,并与经自注意力机制处理后的图像特征和人体关键点特征拼接,得到最终行为识别特征;识别特征经全连接层及归一化指数函数softmax处理后,得到行为识别结果。基于公共数据集HMDB51和UCF101、自建的煤矿井下视频数据集进行行为识别实验,结果表明:采用交叉注意力机制可使行为识别模型更有效地融合图像特征和人体关键点特征,大幅提高识别准确率;与目前应用最广泛的行为识别模型SlowFast相比,基于交叉注意力机制的多特征融合行为识别模型在HMDB51和UCF101数据集上的识别准确率分别提高1.8%,0.9%,在自建数据集上的识别准确率提高6.7%,验证了基于交叉注意力机制的多特征融合行为识别模型更适用于煤矿井下复杂环境中人员不安全行为识别。
-
关键词
井下人员行为识别
不安全行为识别
图像特征
人体关键点特征
多特征融合
自注意力机制
图注意力机制
交叉注意力机制
-
Keywords
action recognition of underground personnel
recognition of unsafe action
image feature
human body key point feature
multi-feature fusion
self-attention mechanism
graph attention mechanism
crossattention mechanism
-
分类号
TD67
[矿业工程—矿山机电]
-
-
题名基于半监督学习的煤矿井下行人检测模型
- 2
-
-
作者
陈湘源
饶天荣
潘涛
-
机构
国能榆林能源有限责任公司
国能数智科技有限公司智能矿山与智慧运输事业部
上海微系统与信息技术研究所无线传感网与通信重点实验室
-
出处
《煤炭技术》
CAS
2024年第2期231-234,共4页
-
文摘
在井工煤矿辅助运输车辆无人驾驶及安全监测领域,行人检测技术至关重要。目前已有许多工作进行了相应研究,但这些研究均需要使用大量的精确标注图片,而煤矿井下图片获取较为困难,标注难度也十分大,这些因素都极大地影响了相关模型的落地应用以及推广。为了解决这一问题,提出了一种基于半监督学习的煤矿井下行人检测模型。通过使用半监督学习框架可以有效降低煤矿井下行人检测模型对于高质量标注数据的大量需求。此外,针对煤矿井下设备运算能力较低的特点,还对YOLOv5模型进行了改进,在维持模型检测精度的条件下提升了模型的检测速度。实验表明基于半监督学习的煤矿井下行人检测模型可以使用仅相当于原数据集5%的数据训练得到较为有效的检测模型,大幅度较少了对于标注数据的依赖,对煤矿井下行人检测模型的快速应用和推广起到了帮助作用。
-
关键词
井下行人检测
半监督学习
YOLOv5
-
Keywords
underground pedestrian detection
semi-supervised learning
YOLOv5
-
分类号
TD76
[矿业工程—矿井通风与安全]
-
