-
题名基于深度学习的图像-文本匹配研究综述
被引量：6
- 1
-
-
作者
刘萌
齐孟津
詹圳宇
曲磊钢
聂秀山
聂礼强
-
机构
山东建筑大学计算机科学与技术学院
山东大学(青岛)计算机科学与技术学院
哈尔滨工业大学(深圳)计算机科学与技术学院
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2023年第11期2370-2399,共30页
-
基金
国家自然科学基金项目(No.62006142、No.U1936203)
山东省杰出青年基金项目(No.ZR2021JQ26)
+2 种基金
山东省基金重大基础研究项目(No.ZR2021ZD15)
山东省高等学校青年创新科技创新计划(No.2021KJ036)
山东建筑大学特聘教授专项基金资助。
-
文摘
图像-文本匹配任务旨在衡量图像和文本描述之间的相似性,其在桥接视觉和语言中起着至关重要的作用.近年来,图像与句子的全局对齐以及区域与单词的局部对齐研究方面取得了很大的进展.本文对当前先进的研究方法进行分类和描述.具体地,本文将现有方法划分为基于全局特征的图像-文本匹配方法、基于局部特征的图像-文本匹配方法、基于外部知识的图像-文本匹配方法、基于度量学习的图像-文本匹配方法以及多模态预训练模型,对于基于全局特征的图像-文本匹配方法,本文依据流程类型划分为两类:基于嵌入的方法和基于交互的方法;而对于基于局部特征的图像-文本匹配方法,依据其交互模式的不同,则被细分为三类:基于模态内关系建模的方法、基于模态间关系建模的方法以及基于混合交互建模的方法.随后,本文对当前图像-文本匹配任务的相关数据集进行了整理,并对现有方法的实验结果进行分析与总结.最后,对未来研究可能面临的挑战进行了展望.
-
关键词
图像-文本匹配
跨模态图像检索
多模态预训练模型
综述
深度学习
人工智能
-
Keywords
image-text matching
cross-modal image retrieval
multimodal pre-training model
survey
deep learning
artificial intelligence
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名铁路客运场景下基于图像搜索的遗失物品查找方法
- 2
-
-
作者
李博
朱建生
戴琳琳
景辉
黄植正
-
机构
中国铁道科学研究院研究生部
中国国家铁路集团有限公司科技和信息化部
中国铁道科学研究院集团有限公司电子计算技术研究所
-
出处
《铁道运输与经济》
北大核心
2024年第5期89-99,共11页
-
基金
中国铁道科学研究院集团有限公司科研项目(2022YJ283)。
-
文摘
当前铁路客运场景下的遗失物品查找方法效率低下,影响了旅客的出行体验,给各车站的生产经营造成了困扰。为创新铁路客运场景下的遗失物品查找方式,在分析铁路客运遗失物品查找需求与难点的基础上,结合人脸识别以及深度学习的前沿技术成果,建立了一种基于图像搜索的遗失物品查找框架,设计了面向铁路客运场景的安检遗失物品查找方案以及非安检遗失物品查找方案。研究结果表明,该方法可进一步提高铁路客运运营的智能化水平,优化遗失物品的查找效率,在跨模态检索测试中有较高的检索精度,但在部分类别中的检索结果存在误差。基于研究结果,从算法改进与模型微调策略等方面进行了展望。
-
关键词
铁路客运
遗失物品
深度学习
实例搜索
跨模态图像检索
-
Keywords
Railway Passenger Transport
Lost Items
Deep Learning
Search Instance
Cross-Modal Image Retrieval
-
分类号
U293.1
[交通运输工程—交通运输规划与管理]
-
