-
题名基于度量学习的多模态谣言检测
- 1
-
-
作者
李娜
余晓栋
朱节中
-
机构
南京信息工程大学自动化学院
无锡学院物联网工程学院
南京信息工程大学软件学院
-
出处
《国外电子测量技术》
2024年第8期54-63,共10页
-
基金
教育部人文社会科学研究规划基金(18YJA820035)
江苏高校哲学社会科学研究项目(2022SJYB0982)资助。
-
文摘
目前主流的多模态谣言检测模型,主要侧重于建模过程中模态的特征提取与拼接方法研究,而各模态局部特征关系、模态内与模态间的信息交互往往被忽略,这在一定程度上影响到了谣言检测的效果。针对该问题,提出了一种基于度量学习的多模态谣言检测方法。考虑到各模态局部特征关系对模态整体特征表示的影响,采用了句法分析和注意力机制技术分别挖掘文本和图片的局部特征关系;同时,将度量学习应用到谣言检测中,通过三元组学习和对比学习找出模态内与模态间的关联信息。在Twitter和Weibo两个公开的数据集上进行了性能测试实验,准确率分别达到92.8%和85.2%,结果表明将各模态局部特征关系、模态内与模态间的信息交互加入谣言检测模型中能够进一步提升谣言检测的精准度。
-
关键词
谣言检测
度量学习
多模态
三元组学习
对比学习
-
Keywords
rumor detection
deep metric learning
multimodal
triplet metric learning
contrastive learning
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
