-
题名面向多模态模型训练的高效样本检索技术
- 1
-
-
作者
唐秀
伍赛
侯捷
陈刚
-
机构
浙江大学软件学院
浙江大学计算机科学与技术学院
-
出处
《软件学报》
EI
CSCD
北大核心
2024年第3期1125-1139,共15页
-
基金
国家重点研发计划(2022YFB3304100)。
-
文摘
深度学习中,多模态模型的训练通常需要大量高质量不同类型的标注数据,如图像、文本、音频等.然而,获取大规模的多模态标注数据是一项具有挑战性和昂贵的任务.为了解决这一问题,主动学习作为一种有效的学习范式被广泛应用,能够通过有针对性地选择最有信息价值的样本进行标注,从而降低标注成本并提高模型性能.现有的主动学习方法往往面临着低效的数据扫描和数据位置调整问题,当索引需要进行大范围的更新时,会带来巨大的维护代价.为解决这些问题,提出了一种面向多模态模型训练的高效样本检索技术So-CBI.该方法通过感知模型训练类间边界点,精确评估样本对模型的价值;设计了半有序的高效样本索引,通过结合数据排序信息和部分有序性,降低了索引维护代价和时间开销.在多组多模态数据集上通过与传统主动学习训练方法实验对比,验证了So-CBI方法在主动学习下的训练样本检索问题上的有效性.
-
关键词
多模态模型训练
主动学习
样本检索
-
Keywords
multimodal model training
active learning
sample retrieval
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名样本检索在高校科研管理系统中的应用
- 2
-
-
作者
付长贺
赵又里
唐恒永
-
机构
沈阳师范大学数学与系统科学学院
中国医科大学图书馆
-
出处
《沈阳师范大学学报（自然科学版）》
CAS
2005年第1期48-50,共3页
-
基金
辽宁省教育厅资助项目(202112020).
-
文摘
简单介绍了高校科研管理系统和ASP技术及相关知识,重点介绍了应用ASP技术开发在线样本检索的设计开发思想.在科研管理系统中检索是用户经常使用的操作手段,同时用户在内容重复检索中涉及到大量字段,样本检索可以使用户避免这样的重复操作.在开发系统时采用了样本检索技术与普通检索结合,既发挥了普通检索的灵活性,又发挥了样本检索的高效性.
-
关键词
样本检索
样本
ASP
数据库
-
Keywords
sample searching
sample
ASP
data base
-
分类号
TP274
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名基于多分辨率直方图的图像检索
被引量：1
- 3
-
-
作者
骆珊
徐胜荣
-
机构
浙江大学信息科学与工程学院
-
出处
《江南大学学报（自然科学版）》
CAS
2007年第1期31-34,共4页
-
文摘
文中提出了一种新的基于多分辨率直方图的图像样本检索方法.该方法首先提取检索图像在不同分辨率情况下的信息,然后统计多分辨率直方图作为特征索引的信息.不同分辨率下的图像体现了原图像的颜色空间分布,将其视为不同的样本进行检索,并使用不同的策略对各个样本的检索结果进行融合.实验验证了基于多分辨率的样本检索在不同融合策略情况下的检索性能,并与一般的基于颜色直方图的单样本检索进行比较.结果表明,所提出的新方法比基于颜色直方图的单样本检索性能好.
-
关键词
多分辨率
直方图
多样本检索
-
Keywords
multiresolution
histogram
multiple examples retrieval
-
分类号
TP39
[自动化与计算机技术—计算机应用技术]
-
-
题名基于跨模态自蒸馏的零样本草图检索
被引量：2
- 4
-
-
作者
田加林
徐行
沈复民
申恒涛
-
机构
电子科技大学计算机科学与工程学院
-
出处
《软件学报》
EI
CSCD
北大核心
2022年第9期3152-3164,共13页
-
基金
国家自然科学基金(61976049,62072080,61632007)。
-
文摘
零样本草图检索将未见类的草图作为查询样本,用于检索未见类的图像.因此,这个任务同时面临两个挑战:草图和图像之间的模态差异以及可见类和未见类的不一致性.过去的方法通过将草图和图像投射到一个公共空间来消除模态差异,还通过利用语义嵌入(如词向量和词相似度)来弥合可见类和未见类的语义不一致.提出了跨模态自蒸馏方法,从知识蒸馏的角度研究可泛化的特征,无需语义嵌入参与训练.具体而言,首先通过传统的知识蒸馏将预训练的图像识别网络的知识迁移到学生网络.然后,通过草图和图像的跨模态相关性,跨模态自蒸馏将上述知识间接地迁移到草图模态的识别上,提升草图特征的判别性和泛化性.为了进一步提升知识在草图模态内的集成和传播,进一步地提出草图自蒸馏.通过为数据学习辨别性的且泛化的特征,学生网络消除了模态差异和语义不一致性.在3个基准数据集,即Sketchy、TU-Berlin和QuickDraw,进行了广泛的实验,证明了所提跨模态自蒸馏方法与当前方法相比较的优越性.
-
关键词
零样本草图检索
零样本学习
跨模态检索
知识蒸馏
-
Keywords
zero-shot sketch-based image retrieval
zero-shot learning
cross-modal retrieval
knowledge distillation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
