-
题名基于细粒度语义推理的跨媒体双路对抗哈希学习模型
- 1
-
-
作者
曹晓雯
梁美玉
鲁康康
-
机构
北京邮电大学计算机学院(国家示范性软件学院)智能通信软件与多媒体北京市重点实验室
-
出处
《计算机科学》
CSCD
北大核心
2022年第9期123-131,共9页
-
基金
国家自然科学基金(61877006,62192784)
中国人工智能学会-华为MindSpore学术奖励基金(CAAIXSJLJJ-2021-007B)。
-
文摘
跨媒体哈希因其优越的搜索效率和较低的存储成本而在跨媒体搜索任务中受到广泛关注。然而,现有方法无法充分保持多模态数据的高阶语义相关性和多标签语义信息,从而导致学习到的哈希编码的质量下降。为了解决上述问题,提出了基于细粒度语义推理的跨媒体双路对抗哈希(Semantic Reasoning Based Cross-media Dual-way Adversarial Hashing Learning Model, SDAH)学习模型,通过最大程度地挖掘不同模态间的细粒度语义关联,产生紧凑且一致的跨媒体统一高效哈希语义表示。首先,提出了基于跨媒体协同注意力机制的细粒度跨媒体语义关联学习和推理方法,基于跨媒体注意力机制协同学习图像和文本的细粒度隐含语义关联,获取图像和文本的显著性语义推理特征;然后,建立了跨媒体双路对抗哈希网络,通过联合学习模态内和模态间的语义相似性约束,并通过双路对抗学习机制更好地对齐不同模态哈希码的语义分布,产生更高质量和更具判别性的跨媒体统一哈希表示,促进了跨媒体语义融合,提升了跨媒体搜索性能。在两个公开数据集上与现有方法的对比实验结果验证了所提方法在各种跨媒体搜索场景下的优越性能。
-
关键词
语义推理
哈希学习
跨媒体搜索
对抗学习
跨媒体语义融合
-
Keywords
semantic reasoning
Hash learning
cross-media search
Adversarial learning
cross-media semantic fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
