-
题名基于多模态的输送带撕裂大模型算法设计
- 1
-
-
作者
王学立
赵辰燃
李青
何显能
甘梅
-
机构
西安博深安全科技股份有限公司
西安交通大学软件学院
中煤科工集团重庆研究院有限公司
-
出处
《煤矿安全》
CAS
北大核心
2023年第9期202-207,共6页
-
文摘
AI矿山大模型是一种基于人工智能的矿山智能化解决方案,利用大数据、深度学习、机器学习等技术,可以帮助矿山企业提高生产效率和安全性。在输送带撕裂检测方面,基于AI矿山大模型设计了基于Transformer处理多模态数据的一种网络结构,提出了DETR-Audio模型,将视频和音频的多模态数据拼接、融合,采用DERT模型对视频进行编码,利用短时傅里叶变换对音频信号进行时频谱分析,再对两者的特征向量进行拼接、融合,最后传入解码器进行融合解码。该模型经过3 000张煤矿矿井下输送带的图片以及相应的音频数据训练和测试后,表现良好,比单独使用视频或音频信息的模型具有更高的检测准确度和鲁棒性。
-
关键词
输送带撕裂检测
TRANSFORMER
AI矿山大模型
DETR-Audio
多模态数据
算法设计
-
Keywords
conveyor belt tear detection
Transformer
AI mine model
DETR-Audio
multimodal data
algorithm design
-
分类号
TD679
[矿业工程—矿山机电]
-
