一种基于内容相关性的跨媒体检索方法 被引量：34

1

作者 张鸿 吴飞 +1 位作者 庄越挺 陈建勋 《计算机学报》 EI CSCD 北大核心 2008年第5期820-826,共7页

针对传统基于内容的多媒体检索对单一模态的限制,提出一种新的跨媒体检索方法.分析了不同模态的内容特征之间在统计意义上的典型相关性,并通过子空间映射解决了特征向量的异构性问题,同时结合相关反馈中的先验知识,修正不同模态多媒体... 针对传统基于内容的多媒体检索对单一模态的限制,提出一种新的跨媒体检索方法.分析了不同模态的内容特征之间在统计意义上的典型相关性,并通过子空间映射解决了特征向量的异构性问题,同时结合相关反馈中的先验知识,修正不同模态多媒体数据集在子空间中的拓扑结构,实现跨媒体相关性的准确度量.实验以图像和音频数据为例验证了基于相关性学习的跨媒体检索方法的有效性. 展开更多

关键词 跨媒体检索 异构性 典型相关性 子空间映射 相关反馈

下载PDF 职称材料

多媒体内容理解的研究现状与展望 被引量：33

2

作者 彭宇新 綦金玮 黄鑫 《计算机研究与发展》 EI CSCD 北大核心 2019年第1期183-208,共26页

随着多媒体和网络技术的迅猛发展,海量的图像、视频、文本、音频等多媒体数据快速涌现.这些不同媒体的数据在形式上多源异构,语义上相互关联.认知科学研究表明,人脑生理组织结构决定了其对外界的感知和认知过程是跨越多种感官信息的融... 随着多媒体和网络技术的迅猛发展,海量的图像、视频、文本、音频等多媒体数据快速涌现.这些不同媒体的数据在形式上多源异构,语义上相互关联.认知科学研究表明,人脑生理组织结构决定了其对外界的感知和认知过程是跨越多种感官信息的融合处理.如何对不同媒体的数据进行语义分析和关联建模以实现多媒体内容理解,成为了一个研究和应用的关键问题,受到了学术界和工业界的广泛关注.选取了多媒体内容理解的5个最新热点研究方向:图像细分类与检索、视频分类与目标检测、跨媒体检索、视觉描述与生成、视觉问答,分别阐述了它们的基本概念、代表性方法、研究现状等,并进一步阐述了多媒体内容理解面临的重要挑战,同时给出未来的发展趋势,旨在帮助读者全面了解多媒体内容理解的研究现状,吸引更多研究人员投身相关研究并为他们提供技术参考,推动该领域的进一步发展. 展开更多

关键词 多媒体内容理解 图像细分类与检索 视频分类与目标检测 跨媒体检索 视觉描述与生成 视觉问答

下载PDF 职称材料

跨媒体相关性推理与检索研究 被引量：20

3

作者 张鸿 吴飞 庄越挺 《计算机研究与发展》 EI CSCD 北大核心 2008年第5期869-876,共8页

针对不同模态的多媒体数据之间难以度量跨媒体相关性的问题,提出了一种基于相关性推理的跨媒体检索方法,首先从相同模态内部(intra-media)的相似性和不同模态之间(cross-media)的相关性两个方面进行分析和量化,然后构造跨媒体关联图将... 针对不同模态的多媒体数据之间难以度量跨媒体相关性的问题,提出了一种基于相关性推理的跨媒体检索方法,首先从相同模态内部(intra-media)的相似性和不同模态之间(cross-media)的相关性两个方面进行分析和量化,然后构造跨媒体关联图将相似性和相关性学习结果进行统一表达,以跨媒体关联图的最短路径为基础进行跨媒体检索,并提出相关反馈算法将用户交互中的先验知识融入到跨媒体关联图中,有效提高了跨媒体检索效率.该方法可以应用于针对用户提交查询样例的不同模态交叉检索系统. 展开更多

关键词 跨媒体检索 跨媒体关联图 异构性 相关反馈 本征距离

下载PDF 职称材料

基于语义的跨媒体信息检索技术研究 被引量：14

4

作者 蔡平 王志强 傅向华 《微电子学与计算机》 CSCD 北大核心 2010年第3期102-105,共4页

阐述当前多媒体信息检索技术正从基于内容特征相似性的单一媒体检索发展到基于语义相关性的多种媒体综合检索,实现跨媒体信息检索.提出了一种跨媒体信息检索的系统结构,在分析各种媒体基于语义信息检索的基础上,设计并实现跨媒体搜索引... 阐述当前多媒体信息检索技术正从基于内容特征相似性的单一媒体检索发展到基于语义相关性的多种媒体综合检索,实现跨媒体信息检索.提出了一种跨媒体信息检索的系统结构,在分析各种媒体基于语义信息检索的基础上,设计并实现跨媒体搜索引擎及其查询分解策略和检索结果融合方法等,实验结果表明:这种方法能够有效地改善查全率和查准率. 展开更多

关键词 多媒体 跨媒体 信息检索 语义挖掘 检索机制

下载PDF 职称材料

跨媒体深层细粒度关联学习方法 被引量：13

5

作者 卓昀侃 綦金玮 彭宇新 《软件学报》 EI CSCD 北大核心 2019年第4期884-895,共12页

随着互联网与多媒体技术的迅猛发展,网络数据的呈现形式由单一文本扩展到包含图像、视频、文本、音频和3D模型等多种媒体,使得跨媒体检索成为信息检索的新趋势.然而,"异构鸿沟"问题导致不同媒体的数据表征不一致,难以直接进... 随着互联网与多媒体技术的迅猛发展,网络数据的呈现形式由单一文本扩展到包含图像、视频、文本、音频和3D模型等多种媒体,使得跨媒体检索成为信息检索的新趋势.然而,"异构鸿沟"问题导致不同媒体的数据表征不一致,难以直接进行相似性度量,因此,多种媒体之间的交叉检索面临着巨大挑战.随着深度学习的兴起,利用深度神经网络模型的非线性建模能力有望突破跨媒体信息表示的壁垒,但现有基于深度学习的跨媒体检索方法一般仅考虑图像和文本两种媒体数据之间的成对关联,难以实现更多种媒体的交叉检索.针对上述问题,提出了跨媒体深层细粒度关联学习方法,支持多达5种媒体类型数据(图像、视频、文本、音频和3D模型)的交叉检索.首先,提出了跨媒体循环神经网络,通过联合建模多达5种媒体类型数据的细粒度信息,充分挖掘不同媒体内部的细节信息以及上下文关联.然后,提出了跨媒体联合关联损失函数,通过将分布对齐和语义对齐相结合,更加准确地挖掘媒体内和媒体间的细粒度跨媒体关联,同时利用语义类别信息增强关联学习过程的语义辨识能力,提高跨媒体检索的准确率.在两个包含5种媒体的跨媒体数据集PKU XMedia和PKU XMediaNet上与现有方法进行实验对比,实验结果表明了所提方法的有效性. 展开更多

关键词 跨媒体检索 5种媒体 细粒度信息挖掘 跨媒体循环神经网络 跨媒体联合关联约束

下载PDF 职称材料

基于深度学习的数字图书馆跨媒体语义检索方法研究 被引量：13

6

作者 彭欣 《情报探索》 2018年第2期16-19,共4页

[目的/意义]研究基于深度学习的数字图书馆跨媒体语义检索方法。[方法/过程]分析深度学习的概念、深度结构以及深度学习的必备条件,研究深度学习与数字图书馆跨媒体语义检索的关系,指出基于深度结构的数字图书馆跨媒体相关性学习技术,... [目的/意义]研究基于深度学习的数字图书馆跨媒体语义检索方法。[方法/过程]分析深度学习的概念、深度结构以及深度学习的必备条件,研究深度学习与数字图书馆跨媒体语义检索的关系,指出基于深度结构的数字图书馆跨媒体相关性学习技术,构建基于深度学习的数字图书馆跨媒体语义检索框架。[结果/结论]深度学习与跨媒体语义检索的结合,作为数字图书馆全新的信息检索模式,可以解决跨媒体寻找语义信息和高效处理复杂维度数据的问题,大幅度提高数据检索、整合效率,必然会替代现有的信息检索工具,成为大数据时代提升知识服务水平的利剑。 展开更多

关键词 深度学习 数字图书馆 跨媒体 语义检索

下载PDF 职称材料

基于Ontology的跨媒体检索技术 被引量：12

7

作者 胡涛 武港山 +1 位作者 任桐炜 吉亮 《计算机工程》 CAS CSCD 北大核心 2009年第8期266-268,共3页

针对如何在相似媒体之间进行有效关联,描述跨媒体的相似性等问题,提出一种新的跨媒体检索方法。提取多媒体对象的低层特征,利用Ontology对其进行组织,在语义层次实现多媒体关联。实验结果证明,基于Ontology的方式可以有效完成跨媒体检索。

关键词 跨媒体检索 本体 查询扩展 相似性计算

下载PDF 职称材料

基于综合推理的多媒体语义挖掘和跨媒体检索 被引量：12

8

作者 杨易 郭同强 +1 位作者 庄越挺 王文华 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2009年第9期1307-1314,共8页

为了更准确地进行跨媒体检索,需要挖掘、学习不同类型多媒体对象之间的语义关联,为此提出一种基于综合推理模型的多媒体语义挖掘和跨媒体检索技术.首先根据多媒体对象的底层特征构造推理源,根据多媒体对象的共生关系构造影响源场来进行... 为了更准确地进行跨媒体检索,需要挖掘、学习不同类型多媒体对象之间的语义关联,为此提出一种基于综合推理模型的多媒体语义挖掘和跨媒体检索技术.首先根据多媒体对象的底层特征构造推理源,根据多媒体对象的共生关系构造影响源场来进行综合推理,并构造出多媒体语义空间;然后针对不同检索例子,根据伪相关反馈为每一个检索例子自适应地选择不同的检索方法进行跨媒体检索.为了处理检索例子不在训练集合内的情况,提出了两阶段学习方法完成检索;同时还提出了一种基于日志的长程反馈学习算法,以提高系统性能.实验结果证明,该技术能够准确地挖掘多媒体语义,多媒体文档检索和跨媒体检索效果准确且稳定. 展开更多

关键词 综合推理 多媒体语义挖掘 跨媒体检索 多媒体文档

下载PDF 职称材料

图书馆数字资源跨媒体语义关联检索的实现模型及保障措施 被引量：11

9

作者 容海萍 《图书馆工作与研究》 CSSCI 北大核心 2018年第7期58-62,共5页

面对日益丰富与多介质的数字资源,跨媒体检索正成为图书馆为用户提供集成服务的工作重点。本文基于语义关联四大维度,依据数字资源跨媒体语义关联检索的实现机理,构建了图书馆数字资源跨媒体语义关联检索实现模型,阐述了模型中资源整合... 面对日益丰富与多介质的数字资源,跨媒体检索正成为图书馆为用户提供集成服务的工作重点。本文基于语义关联四大维度,依据数字资源跨媒体语义关联检索的实现机理,构建了图书馆数字资源跨媒体语义关联检索实现模型,阐述了模型中资源整合、语义分析与提取、语义关联挖掘、跨媒体本体构建、跨媒体语义检索算法、用户检索界面等模块的紧密耦合关系。该模型涉及资源体系建设、语义关联挖掘技术、检索算法等诸多因素,因而仍需进一步优化保障要素。 展开更多

关键词 数字资源 语义关联 跨媒体检索 检索实现模型

下载PDF 职称材料

基于潜语义主题加强的跨媒体检索算法 被引量：11

10

作者 黄育 张鸿 《计算机应用》 CSCD 北大核心 2017年第4期1061-1064,1110,共5页

针对不同模态数据对相同语义主题表达存在差异性,以及传统跨媒体检索算法忽略了不同模态数据能以合作的方式探索数据的内在语义信息等问题,提出了一种新的基于潜语义主题加强的跨媒体检索(LSTR)算法。首先,利用隐狄利克雷分布(LDA)模型... 针对不同模态数据对相同语义主题表达存在差异性,以及传统跨媒体检索算法忽略了不同模态数据能以合作的方式探索数据的内在语义信息等问题,提出了一种新的基于潜语义主题加强的跨媒体检索(LSTR)算法。首先,利用隐狄利克雷分布(LDA)模型构造文本语义空间,然后以词袋(Bo W)模型来表达文本对应的图像;其次,使用多分类逻辑回归对图像和文本分类,用得到的基于多分类的后验概率表示文本和图像的潜语义主题;最后,利用文本潜语义主题去正则化图像的潜语义主题,使图像的潜语义主题得到加强,同时使它们之间的语义关联最大化。在Wikipedia数据集上,文本检索图像和图像检索文本的平均查准率为57.0%,比典型相关性分析(CCA)、SM(Semantic Matching)、SCM(Semantic Correlation Matching)算法的平均查准率分别提高了35.1%、34.8%、32.1%。实验结果表明LSTR算法能有效地提高跨媒体检索的平均查准率。 展开更多

关键词 跨媒体检索 潜语义主题 多分类逻辑回归 后验概率 正则化

下载PDF 职称材料

融合两级相似度的跨媒体图像文本检索 被引量：11

11

作者 李志欣 凌锋 +1 位作者 张灿龙 马慧芳 《电子学报》 EI CAS CSCD 北大核心 2021年第2期268-274,共7页

为了更好地揭示图像和文本之间潜在的语义关联,提出了一种融合两级相似度的跨媒体检索方法,构建两个子网分别处理全局特征和局部特征,以获取图像和文本之间更好的语义匹配.图像分为整幅图像和一些图像区域两种表示,文本也分为整个语句... 为了更好地揭示图像和文本之间潜在的语义关联,提出了一种融合两级相似度的跨媒体检索方法,构建两个子网分别处理全局特征和局部特征,以获取图像和文本之间更好的语义匹配.图像分为整幅图像和一些图像区域两种表示,文本也分为整个语句和一些单词两种表示.设计一个两级对齐方法分别匹配图像和文本的全局和局部表示,并融合两种相似度学习跨媒体的完整表示.在MSCOCO和Flickr30K数据集上的实验结果表明,本文方法能够使图像和文本的语义匹配更准确,优于许多当前先进的跨媒体检索方法. 展开更多

关键词 卷积神经网络 自注意力网络 两级相似度 跨媒体检索

下载PDF 职称材料

深度学习驱动的跨模态数据检索 被引量：9

12

作者 王宏志 燕钰 《哈尔滨理工大学学报》 CAS 北大核心 2021年第1期9-16,共8页

针对大数据下跨模态数据检索效率低下的问题,该论文深入研究了深度学习理论,采用了人工卷积神经网络模型和感知机模型,提出了一种深度学习驱动的跨模态数据检索模型并基于开源深度框架进行了完备的对比试验。该检索模型利用深度学习强... 针对大数据下跨模态数据检索效率低下的问题,该论文深入研究了深度学习理论,采用了人工卷积神经网络模型和感知机模型,提出了一种深度学习驱动的跨模态数据检索模型并基于开源深度框架进行了完备的对比试验。该检索模型利用深度学习强大的学习和表征能力,其由图像特征提取子网、文本特征提取子网、哈希码学习子网组成;并依据条件熵和交叉熵的概念提出了多标签相似度度量方法和模型训练方法。该文用神经网络的方法进行特征提取,较之手工特征方法检索正确率提高了10%左右。 展开更多

关键词 跨模态 数据检索 深度学习 人工卷积神经网络 感知机

下载PDF 职称材料

数字档案资源跨媒体语义检索实现框架与关键问题研究 被引量：8

13

作者 吕元智 《档案学研究》 CSSCI 北大核心 2014年第2期65-70,共6页

本文在分析现有数字档案资源检索问题的基础上,从档案资源收集、整合以及用户体验等角度探讨了数字档案资源跨媒体语义检索的现实意义,进而根据Linked Data和多媒体检索技术,从理论上设计了数字档案资源跨媒体语义检索实现功能框架和过... 本文在分析现有数字档案资源检索问题的基础上,从档案资源收集、整合以及用户体验等角度探讨了数字档案资源跨媒体语义检索的现实意义,进而根据Linked Data和多媒体检索技术,从理论上设计了数字档案资源跨媒体语义检索实现功能框架和过程框架,最后对数字档案资源跨媒体语义检索实现所涉及的理论与技术创新、标准完善与执行、人才队伍建设以及多媒体档案资源建设等关键问题展开了探讨。 展开更多

关键词 数字档案资源 跨媒体检索 语义检索

原文传递

基于语义相关性与拓扑关系的跨媒体检索算法 被引量：8

14

作者 代刚 张鸿 《计算机应用》 CSCD 北大核心 2018年第9期2529-2534,共6页

针对如何挖掘不同模态中具有相同语义的特征数据之间的内在相关性的问题,提出了一种基于语义相关性与拓扑关系(SCTR)的跨媒体检索算法。一方面,利用具有相同语义的多媒体数据之间的潜在相关性去构造多媒体语义相关超图;另一方面,挖掘多... 针对如何挖掘不同模态中具有相同语义的特征数据之间的内在相关性的问题,提出了一种基于语义相关性与拓扑关系(SCTR)的跨媒体检索算法。一方面,利用具有相同语义的多媒体数据之间的潜在相关性去构造多媒体语义相关超图;另一方面,挖掘多媒体数据的拓扑关系来构建多媒体近邻关系超图。通过结合多媒体数据语义相关性与拓扑关系去为每种媒体类型学习一个最优的投影矩阵,然后将多媒体数据的特征向量投影到一个共同空间,从而实现跨媒体检索。该算法在XMedia数据集上,对多项跨媒体检索任务的平均查准率为51.73%,与联合图正则化的异构度量学习(JGRHML)、跨模态相关传播(CMCP)、近邻的异构相似性度量(HSNN)、共同的表示学习(JRL)算法相比,分别提高了22.73、15.23、11.7、9.11个百分点。实验结果从多方面证明了该算法有效提高了跨媒体检索的平均查准率。 展开更多

关键词 跨媒体检索 语义信息 近邻关系 半监督正则化 语义相关性 稀疏正则化

下载PDF 职称材料

数字图书馆跨媒体检索研究综述 被引量：7

15

作者 张兴旺 黄晓斌 《情报资料工作》 CSSCI 北大核心 2014年第3期37-42,共6页

文章以论文及科研项目为研究对象,对数字图书馆跨媒体检索研究进展及应用情况进行梳理和分析,发现跨媒体检索研究已成为数字图书馆领域的研究热点,研究内容涉及基本概念及系统框架、数据表示问题、语义关联问题、跨媒体检索内容整合技... 文章以论文及科研项目为研究对象,对数字图书馆跨媒体检索研究进展及应用情况进行梳理和分析,发现跨媒体检索研究已成为数字图书馆领域的研究热点,研究内容涉及基本概念及系统框架、数据表示问题、语义关联问题、跨媒体检索内容整合技术、应用研究五个方面。 展开更多

关键词 数字图书馆 跨媒体检索 语义关联 信息服务

原文传递

数字图书馆跨媒体检索技术研究 被引量：6

16

作者 刘忠宝 贾君枝 赵文娟 《图书馆论坛》 CSSCI 北大核心 2014年第12期94-97,F0003,共5页

多媒体检索技术是数字图书馆的关键技术之一,"语义鸿沟"是其面临的最大问题。跨媒体检索技术的出现实现了真正意义上的语义检索。在分析多媒体检索技术的基础上,重点阐述跨媒体检索与多媒体检索之间的关系,指出跨媒体检索的... 多媒体检索技术是数字图书馆的关键技术之一,"语义鸿沟"是其面临的最大问题。跨媒体检索技术的出现实现了真正意义上的语义检索。在分析多媒体检索技术的基础上,重点阐述跨媒体检索与多媒体检索之间的关系,指出跨媒体检索的必要性和有效性。 展开更多

关键词 数字图书馆 跨媒体 多媒体 搜索引擎

下载PDF 职称材料

跨媒体智能技术及其在网络档案信息检索中的应用

17

作者 沙洲 赵屹 《兰台世界》 2024年第7期43-48,共6页

跨媒体智能技术在网络档案信息检索中的应用路径主要包括:网络档案信息检索平台集成智能感知认知能力;网络档案信息检索工具具备跨媒体知识组织功能;在网络档案信息检索工具中构建跨媒体知识图谱、完成跨媒体知识演化及推理、实现跨媒... 跨媒体智能技术在网络档案信息检索中的应用路径主要包括:网络档案信息检索平台集成智能感知认知能力;网络档案信息检索工具具备跨媒体知识组织功能;在网络档案信息检索工具中构建跨媒体知识图谱、完成跨媒体知识演化及推理、实现跨媒体智能描述与生成;采用充分适应跨媒体智能检索的智能计算芯片与系统。此外,将跨媒体智能技术应用于网络档案信息检索还需要注意一些问题,如技术综合问题、应用时机问题、安全问题以及伦理问题。 展开更多

关键词 跨媒体 智能 档案信息检索 网络 人工智能2.0

原文传递

数字图书馆中跨媒体检索模型的设计及优化探索 被引量：5

18

作者 李广丽 张红斌 移梦阳 《情报理论与实践》 CSSCI 北大核心 2013年第2期104-108,共5页

首先对当前数字图书馆中多媒体信息检索的现状进行分析,然后讨论了跨媒体检索的优点及应用前景。挑选以澳大利亚国家图书馆"Trove系统"为代表的传统跨媒体检索模型和浙江大学开发的"百万册图书馆"项目为代表的改进... 首先对当前数字图书馆中多媒体信息检索的现状进行分析,然后讨论了跨媒体检索的优点及应用前景。挑选以澳大利亚国家图书馆"Trove系统"为代表的传统跨媒体检索模型和浙江大学开发的"百万册图书馆"项目为代表的改进的跨媒体检索模型分别进行深入分析。重点分析这两大模型的实现原理、技术方案。最后,对比这两大模型的优缺点,并从3个角度就模型的改进和优化提出了构思及实现方案,并对这些方案进行定性分析。 展开更多

关键词 数字图书馆 跨媒体检索 检索模型 语义标注

原文传递

面向跨媒体检索的层级循环注意力网络模型 被引量：5

19

作者 綦金玮 彭宇新 袁玉鑫 《中国图象图形学报》 CSCD 北大核心 2018年第11期1751-1758,共8页

目的跨媒体检索旨在以任意媒体数据检索其他媒体的相关数据,实现图像、文本等不同媒体的语义互通和交叉检索。然而,"异构鸿沟"导致不同媒体数据的特征表示不一致,难以实现语义关联,使得跨媒体检索面临巨大挑战。而描述同一语... 目的跨媒体检索旨在以任意媒体数据检索其他媒体的相关数据,实现图像、文本等不同媒体的语义互通和交叉检索。然而,"异构鸿沟"导致不同媒体数据的特征表示不一致,难以实现语义关联,使得跨媒体检索面临巨大挑战。而描述同一语义的不同媒体数据存在语义一致性,且数据内部蕴含着丰富的细粒度信息,为跨媒体关联学习提供了重要依据。现有方法仅仅考虑了不同媒体数据之间的成对关联,而忽略了数据内细粒度局部之间的上下文信息,无法充分挖掘跨媒体关联。针对上述问题,提出基于层级循环注意力网络的跨媒体检索方法。方法首先提出媒体内—媒体间两级循环神经网络,其中底层网络分别建模不同媒体内部的细粒度上下文信息,顶层网络通过共享参数的方式挖掘不同媒体之间的上下文关联关系。然后提出基于注意力的跨媒体联合损失函数,通过学习媒体间联合注意力来挖掘更加精确的细粒度跨媒体关联,同时利用语义类别信息增强关联学习过程中的语义辨识能力,从而提升跨媒体检索的准确率。结果在2个广泛使用的跨媒体数据集上,与10种现有方法进行实验对比,并采用平均准确率均值MAP作为评价指标。实验结果表明,本文方法在2个数据集上的MAP分别达到了0. 469和0. 575,超过了所有对比方法。结论本文提出的层级循环注意力网络模型通过挖掘图像和文本的细粒度信息,能够充分学习图像和文本之间精确跨媒体关联关系,有效地提高了跨媒体检索的准确率。 展开更多

关键词 跨媒体检索 注意力机制 循环神经网络 关联学习 语义辨识

原文传递

一种基于对抗学习和语义相似度的社交网络跨媒体搜索方法 被引量：5

20

作者 刘翀 杜军平 周南 《中国科学：信息科学》 CSCD 北大核心 2021年第5期779-794,共16页

社交网络蕴含着丰富的多媒体信息,如何实现社交网络跨媒体信息的搜索已成为研究热点.基于深度学习的单一模态语义特征提取和学习在社交网络信息搜索上取得了较好的效果.在跨模态信息搜索时不同模态的数据特征不能直接比较,因此不同模态... 社交网络蕴含着丰富的多媒体信息,如何实现社交网络跨媒体信息的搜索已成为研究热点.基于深度学习的单一模态语义特征提取和学习在社交网络信息搜索上取得了较好的效果.在跨模态信息搜索时不同模态的数据特征不能直接比较,因此不同模态之间的语义鸿沟是亟待解决的关键问题.针对上述问题,本文提出了一种基于对抗学习和语义相似度的跨媒体搜索方法,实现了文本和图像之间的相互匹配、排序和搜索.该方法使用对抗学习方法框架构建训练特征映射网络和模态判别网络,其中特征映射网络使用多维语义分布向量将不同模态的数据映射到同一语义空间中,使得相同语义下的不同模态数据在该空间距离小,不同语义下相同模态数据距离大.使用语义分布及相似度作为特征映射网训练依据,模态判别网络负责判定空间中不同数据的模态.基于对抗学习交替训练两个网络,使得特征映射网络得到的数据和原数据语义一致,并消除模态特性,最终在同一空间内使用相似度来排序并得到搜索结果.实验结果表明本文提出的方法在文本和图像的相互搜索的map值比同类方法高,并验证了该方法在社交网络安全话题数据上的有效性. 展开更多

关键词 跨媒体搜索 对抗学习 语义相似度 社交网络 搜索排序

原文传递