-
题名基于双指导扩散模型的单样本图像域自适应
- 1
-
-
作者
张研博
普园媛
赵征鹏
阳秋霞
徐丹
李思奇
-
机构
云南大学信息学院
云南省高校物联网技术及应用重点实验室(云南大学)
-
出处
《中国科技论文》
CAS
2024年第2期186-192,共7页
-
基金
国家自然科学基金资助项目(62362070)
云南省科技厅应用基础研究计划重点项目(202001BB050043)。
-
文摘
为了避免现有的单样本图像域自适应算法在反转重建过程中丢失内容信息的现象,提出一种利用CLIP(contrastive language-image pretraining)和ViT(vision transformer)双指导扩散模型去噪、实现内容对齐的单样本图像域自适应算法。首先设计一种基于扩散模型的域反转算法,将位于目标域的图像通过预训练的扩散模型反转到源域,从而获得了内容相同但域信息不同的图像对。其次,将图像对映射到CLIP模型隐空间中,通过内容主导和域主导的2个方向分别顾及内容信息和域信息;同时,将图像对映射到ViT模型隐空间中,通过对比学习的方式分别约束内容信息和域信息。最后,使用条件化指导的去噪方式,实现任意源域图像到目标域的转换。此外,该算法也适用于未见域间转换和多属性编辑的任务。定性和定量的实验结果证明,该算法相对于其他先进算法在多个性能指标上提升2%~27%。
-
关键词
单样本图像域自适应
双指导扩散模型
内容对齐
域反转
条件化指导去噪
-
Keywords
one-shot image domain adaptation
dual guidance diffusion model
content alignment
domain inversion
conditional guided denoising
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
