-
题名包含跨域建模和深度融合网络的手绘草图检索
被引量：7
- 1
-
-
作者
于邓
刘玉杰
邢敏敏
李宗民
李华
-
机构
中国石油大学(华东)计算机通信工程学院
中国科学院计算计算技术研究所
-
出处
《软件学报》
EI
CSCD
北大核心
2019年第11期3567-3577,共11页
-
基金
国家自然科学基金(61379106,61379082,61227802)
山东省自然科学基金(ZR2013FM036,ZR2015FM011)~~
-
文摘
在手绘草图检索(sketch-based image retrieval,简称SBIR)领域,引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性,这是因为,与自然图片相比,手绘草图展现出高度抽象的视觉表达,用现有的方法对手绘草图进行特征提取,其产生的特征描述子对于手绘草图的内容无法进行有效地拟合;对于相同的物体,不同的人群用手绘草图描述方式和表达也存在巨大的差距,这就使得手绘草图-自然图片的匹配更加困难;同时,将手绘草图与自然图片映射到相同视觉域的工作,也是一项具有困难的任务.所以,手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时,引入多层深度融合卷积神经网络(multi-layer deep fusion convolutional neural network)的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验,实验结果显示,多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络(convolutional neural network,简称CNN)的特征.
-
关键词
手绘草图检索
跨域建模
多层深度融合卷积神经网络
特征融合
深度学习
-
Keywords
sketch-based image retrieval(SBIR)
crossing-domain modeling
multi-layer deep fusion convolutional neural network
feature fusion
deep learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
