期刊文献+
共找到11篇文章
< 1 >
每页显示 20 50 100
跨模态检索研究文献综述 被引量:8
1
作者 陈宁 段友祥 孙歧峰 《计算机科学与探索》 CSCD 北大核心 2021年第8期1390-1404,共15页
随着互联网技术的蓬勃发展和智能设备的普及,多媒体数据在数量爆炸式增长的同时,其形态也越来越多样化。人们获取信息的需求已经不满足于单一模态的数据检索,通过不同模态的知识协同实现跨模态的检索成为近几年研究的热点。在深入了解... 随着互联网技术的蓬勃发展和智能设备的普及,多媒体数据在数量爆炸式增长的同时,其形态也越来越多样化。人们获取信息的需求已经不满足于单一模态的数据检索,通过不同模态的知识协同实现跨模态的检索成为近几年研究的热点。在深入了解分析跨模态检索研究背景和研究进展的基础上,以跨模态检索的关键技术——公共子空间建模为主线,对跨模态检索技术的三大类方法传统统计分析方法、深度学习方法与哈希学习方法,从不同角度对研究内容、关键技术、局限性、适用性和特点等方面进行了全方位、多角度的对比分析,并进行了实验以更深入地对比。最后,对跨模态检索有待解决的难点、未来的探索方向、近些年主流设计思路以及发展趋势进行了充分展望,为进一步研究提供理论基础。 展开更多
关键词 跨模态检索 多媒体数据 知识协同 公共空间
下载PDF
多模态检索研究综述
2
作者 金涛 金冉 +2 位作者 侯腾达 袁杰 顾骁哲 《计算机工程与应用》 CSCD 北大核心 2024年第5期62-75,共14页
多模态数据的日益增长使得多模态检索技术也相继受到了不少关注。随着汽车、医学等行业引入计算机与大数据技术,大量的行业数据其本身都是以多模态形式呈现出来的,行业的快速发展使人们对信息的需求不断增加,单一模态数据检索已经无法... 多模态数据的日益增长使得多模态检索技术也相继受到了不少关注。随着汽车、医学等行业引入计算机与大数据技术,大量的行业数据其本身都是以多模态形式呈现出来的,行业的快速发展使人们对信息的需求不断增加,单一模态数据检索已经无法满足人们对信息的需求。为了解决这些问题,满足一种模态的数据检索其他模态数据的需求,通过文献的查阅对多模态检索的方法进行研究,分析了公共子空间、深度学习、多模态哈希算法等不同的研究方法,梳理了近年来提出的解决这些问题的多模态检索技术。最后,对近几年来提出的多模态检索方法根据检索的准确性、检索的效率以及特点等多方面进行评价对比;对多模态检索所遇到的挑战进行分析,并展望多模态检索未来的应用前景。 展开更多
关键词 多模态检索 公共空间 深度学习 哈希算法
下载PDF
基于迁移学习的无监督跨域人脸表情识别 被引量:5
3
作者 莫宏伟 傅智杰 《智能系统学报》 CSCD 北大核心 2021年第3期397-406,共10页
本文主要研究了基于迁移学习的无监督跨域人脸表情识别。在过去的几年里,提出的许多方法在人脸表情识别方面取得了令人满意的识别效果。但这些方法通常认为训练和测试数据来自同一个数据集,因此其具有相同的分布。而在实际应用中,这一... 本文主要研究了基于迁移学习的无监督跨域人脸表情识别。在过去的几年里,提出的许多方法在人脸表情识别方面取得了令人满意的识别效果。但这些方法通常认为训练和测试数据来自同一个数据集,因此其具有相同的分布。而在实际应用中,这一假设通常并不成立,特别当训练集和测试集来自不同的数据集时,即跨域人脸表情识别问题。为了解决这一问题,本文提出将一种基于联合分布对齐的迁移学习方法(domain align learning)应用于跨域人脸表情识别,该方法通过找到一个特征变换,将源域和目标域数据映射到一个公共子空间中,在该子空间中联合对齐边缘分布和条件分布来减小域之间的分布差异,然后对变换后的特征进行训练得到一个域适应分类器来预测目标域样本标签。为了验证提出算法的有效性,在CK+、Oulu-CASIA NIR和Oulu-CASIA VIS这3个不同的数据库上做了大量实验,实验结果证明所提算法在跨域表情识别上是有效性的。 展开更多
关键词 表情识别 无监督 跨域 迁移学习 特征变换 联合对齐 公共空间 域适应
下载PDF
基于单簇聚类的非对齐多视图异常检测算法 被引量:4
4
作者 史小艳 陈松灿 《中国科学:信息科学》 CSCD 北大核心 2021年第12期2037-2052,共16页
多视图数据广泛存在于现实,而异常也不可避免地伴随其中.现有的多视图异常检测方法针对的都是对齐的多视图场景,无法胜任更具挑战的非对齐多视图场景.为此,本文提出了4种基于单簇可能性C–均值(possibilistic C-means,PCM),即P1M(PCM,C... 多视图数据广泛存在于现实,而异常也不可避免地伴随其中.现有的多视图异常检测方法针对的都是对齐的多视图场景,无法胜任更具挑战的非对齐多视图场景.为此,本文提出了4种基于单簇可能性C–均值(possibilistic C-means,PCM),即P1M(PCM,C=1)算法的非对齐多视图异常检测算法.不同于对齐的多视图场景,非对齐特性造成了样本在各视图间对应关系的缺失,以致我们无法利用在对齐场景下示例级的局部关键信息.为此,我们设法通过各视图的全局信息进行学习.本文的关键之处在于借助交替优化法为各视图分别学得一个变换矩阵,用其将各视图投影到一个公共子空间,进而在该公共子空间中用P1M学得所有训练数据对目标类的隶属度,并设置隶属度阈值,从而实现异常检测.在多个UCI数据集上的实验结果表明,本文方法能够有效应对非对齐多视图场景中的异常检测. 展开更多
关键词 可能性C–均值 非对齐多视图 异常检测 公共空间 单簇
原文传递
基于改进流形正则化随机配置网络的软测量
5
作者 杜知微 张凤南 杨海 《控制工程》 CSCD 北大核心 2023年第5期872-880,共9页
为提高复杂工业过程中某些关键参数的预测精度,提出一种基于改进流形正则化随机配置网络(improved manifold regularization stochastic configuration networks,IMRSCNs)的软测量建模方法。该方法首先采用基于迁移学习的特征提取思路,... 为提高复杂工业过程中某些关键参数的预测精度,提出一种基于改进流形正则化随机配置网络(improved manifold regularization stochastic configuration networks,IMRSCNs)的软测量建模方法。该方法首先采用基于迁移学习的特征提取思路,集成最大方差、协方差分布差异和最大均值差异获取特征变换矩阵,将训练集和测试集的特征信息投影到一个公共子空间。进一步将子空间的训练集数据输入带有流形正则化的随机配置网络中,训练网络模型,以保持数据在原特征空间的几何结构。通过多组实验结果表明,相较于原始随机配置网络(stochastic configuration networks,SCNs),所提的改进流形正则化SCNs模型拥有更高的预测精度和更好的泛化性能。 展开更多
关键词 流形正则化 随机配置网络 公共空间 软测量建模
下载PDF
面向跨模态检索的音频数据库内容匹配方法研究 被引量:4
6
作者 张天 靳聪 +1 位作者 帖云 李小兵 《信号处理》 CSCD 北大核心 2020年第6期966-976,共11页
跨模态检索旨在通过以某一模态的数据为查询词,使人们能够得到与之相关的其他不同模态数据的检索结果的新型检索方法,这已成为多媒体和信息检索领域中一个有趣的研究问题。但是,目前大多数的研究成果集中于文本到图像、文本到视频以及... 跨模态检索旨在通过以某一模态的数据为查询词,使人们能够得到与之相关的其他不同模态数据的检索结果的新型检索方法,这已成为多媒体和信息检索领域中一个有趣的研究问题。但是,目前大多数的研究成果集中于文本到图像、文本到视频以及歌词到音频等跨模态相关任务上,而关于如何为特定的视频通过跨模态检索得到合适的音乐这一跨模态的相关研究却很有限。此外,大多现有的关于视频和音频跨模态的研究依赖于元数据(例如关键字,标签或描述)。本文介绍了一种基于音频和视频这两种模态数据内容的跨模态检索的方法,该方法以新型的双流处理网络为框架,并通过神经网络学习两模态数据在公共子空间的特征表达,以计算音频和视频数据之间的相似度。本文所提出的方法的创新点主要在以下三个方面:1)在原有的提取各模态特征的模型基础上引入注意力机制,以此得到了视频和音频的特征选择模型,并筛选出相应的特征表达。2)使用了样本挖掘机制,剔除了无效样本,使得数据的训练更加高效。3)从计算模态间相似性和保持模态内结构不变两方面出发,利用了相应的损失函数进行模型的训练。且所提出的模型在VEGAS数据集和自建数据集上都取得了较高的准确度。 展开更多
关键词 深度学习 公共空间 跨模态检索
下载PDF
图约束的半监督对抗跨模态检索方法研究 被引量:2
7
作者 宣瑞晟 欧卫华 +1 位作者 宋浩强 张仁津 《贵州师范大学学报(自然科学版)》 CAS 2019年第4期86-94,共9页
跨模态检索是指给定一种模态的查询词,返回与之语义相关的其他模态关联词的一种检索方法。现有工作主要集中监督式跨模态检索方法研究,而实际应用中样本标签少,样本标签获取成本高。为此,提出一种图约束的半监督对抗跨模态检索方法(SS-A... 跨模态检索是指给定一种模态的查询词,返回与之语义相关的其他模态关联词的一种检索方法。现有工作主要集中监督式跨模态检索方法研究,而实际应用中样本标签少,样本标签获取成本高。为此,提出一种图约束的半监督对抗跨模态检索方法(SS-ACMR)。该方法通过对无标签样本建立图作为约束条件来学习公共子空间表示。具体而言,在对抗学习框架下:1)对无标签样本,根据样本之间欧式距离构建图,希望相似样本的公共子空间表示是相似的;2)对有标签样本使用传统的对抗跨模态检索方法进行学习;3)无标签样本和有标签样本在对抗学习框架下共同学习公共子空间的表示。Wikipedia数据集和NUSWIDE-10k数据集上的实验结果表明:本文的方法得到了和现有监督跨模态检索方法相当的检索结果,远好于现有半监督跨模态检索方法。 展开更多
关键词 跨模态检索 对抗学习 半监督 图约束 公共空间
下载PDF
基于生成对抗网络的图文检索算法
8
作者 宋丽娟 《电脑编程技巧与维护》 2022年第10期53-55,共3页
随着互联网上的图片和文本信息呈爆炸式增长,最小化图像和文本两种模态之间的语义鸿沟成为检索系统设计的关键问题。针对图文检索系统的关联性建模需求,研究基于生成对抗网络的图文交叉检索算法,通过博弈对抗方法训练网络模型,对图像和... 随着互联网上的图片和文本信息呈爆炸式增长,最小化图像和文本两种模态之间的语义鸿沟成为检索系统设计的关键问题。针对图文检索系统的关联性建模需求,研究基于生成对抗网络的图文交叉检索算法,通过博弈对抗方法训练网络模型,对图像和文本两种模态间的语义特征进行关联,将样本特征表示到公共子空间实现了图像和文本的对抗性交叉检索。在INRIA-Websearch、Nuswide-10k和Wiki数据集上实现了图文交叉检索算法,取得了较高的检索效率和准确度。 展开更多
关键词 生成对抗网络 图文交叉检索 公共空间
下载PDF
基于超分辨重建和公共特征子空间的低分辨率人脸识别 被引量:4
9
作者 李云红 刘杏瑞 +3 位作者 谢蓉蓉 苏雪平 张蕾涛 拜晓桦 《西北大学学报(自然科学版)》 CAS CSCD 北大核心 2023年第2期241-247,共7页
针对传统低分辨率人脸识别准确率较低的问题,提出了一种基于超分辨重建和公共特征子空间的低分辨率人脸识别网络InGLRNet(inception GAN low resolution Net)。InGLRNet网络采用生成对抗网络结构,首先,由超分辨InSRNet网络和特征提取网... 针对传统低分辨率人脸识别准确率较低的问题,提出了一种基于超分辨重建和公共特征子空间的低分辨率人脸识别网络InGLRNet(inception GAN low resolution Net)。InGLRNet网络采用生成对抗网络结构,首先,由超分辨InSRNet网络和特征提取网络构成生成网络,InSRNet网络将Inception结构中3×3卷积核分解为1×3、3×1和1×1的卷积核,同时,增加残差网络的旁路直连方式,减轻梯度消失问题。其次,利用公共特征子空间法,将变换后的低分辨率样本图像和高分辨率基准图像在公共空间中的距离作为训练深度卷积神经网络的目标函数,通过损失函数匹配高、低分辨率图像的特征,实现人脸的精准特征识别。最后,将InGLRNet与CLPMs、MDS、Deep-Face和Face-Net经典的4种低分辨人脸识别方法进行对比,实验结果表明,构建的网络在人脸识别性能上有显著提升,在不同低分辨率下都优于其他4种方法。 展开更多
关键词 公共特征空间 InSRNet 人脸识别 InGLRNet
下载PDF
多流形耦合映射下的低分辨人脸识别 被引量:2
10
作者 郑冬冬 张凯兵 《西安工程大学学报》 CAS 2019年第6期666-672,共7页
探讨低分辨人脸识别中如何保持高低分辨率人脸图像特征在公共特征子空间的一致性问题。基于耦合映射方法,联合利用高低分辨率人脸图像的局部流形几何结构信息与标签信息,增强耦合映射关系矩阵的判别能力和可分性,使得相同类别的高低分... 探讨低分辨人脸识别中如何保持高低分辨率人脸图像特征在公共特征子空间的一致性问题。基于耦合映射方法,联合利用高低分辨率人脸图像的局部流形几何结构信息与标签信息,增强耦合映射关系矩阵的判别能力和可分性,使得相同类别的高低分辨率人脸图像在公共特征子空间中的距离应尽可能接近,而不同类别的高低分辨率人脸图像之间的距离应尽可能疏远。在3个标准人脸库中对提出方法的有效性进行了验证。实验结果表明,该方法在不同的特征维度、Rank级别和分辨率下较同类方法均有明显地提升,具有较好地应用潜能。 展开更多
关键词 低分辨人脸识别 耦合映射 流形学习 公共特征空间 标签信息
下载PDF
子空间超循环性与公共的子空间超循环向量(英文)
11
作者 赵显锋 舒永录 周云华 《华东师范大学学报(自然科学版)》 CAS CSCD 北大核心 2012年第1期106-112,120,共8页
若无限维可分的Banach空间上的线性有界算子T满足:对某个非零子空间M,存在向量x使C·O(x,T)∩M在M中稠密,则称T是子空间超循环算子.构造例子说明了子空间超循环性并非是无限维现象,以及子空间超循环算子并不一定是超循环的;同时,还... 若无限维可分的Banach空间上的线性有界算子T满足:对某个非零子空间M,存在向量x使C·O(x,T)∩M在M中稠密,则称T是子空间超循环算子.构造例子说明了子空间超循环性并非是无限维现象,以及子空间超循环算子并不一定是超循环的;同时,还给出了一个子空间超循环准则和一族算子的公共的子空间亚超循环(子空间超循环)向量是稠密Gδ集的充要条件. 展开更多
关键词 空间超循环性 公共空间亚超循环向量 公共空间超循环向量
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部