结合GAN损失与预训练模型的半监督SPECT重建方法

1

作者 徐锦华 李斯 《广东工业大学学报》 CAS 2024年第6期101-107,共7页

单光子发射计算机断层扫描(Single-Photon Emission Computerized Tomography,SPECT)检查中所使用的放射性示踪剂会对人体造成辐射损害,因此,低剂量SPECT在核医学成像中受到广泛关注。在低剂量成像条件下,投影数据受到严重的噪声污染。... 单光子发射计算机断层扫描(Single-Photon Emission Computerized Tomography,SPECT)检查中所使用的放射性示踪剂会对人体造成辐射损害,因此,低剂量SPECT在核医学成像中受到广泛关注。在低剂量成像条件下,投影数据受到严重的噪声污染。已有大量研究工作探索基于全监督的深度学习重建方法以抑制图像噪声。全监督方法所得的图像质量取决于标签的数量与质量。然而,用作监督标签的正常剂量图像在临床上难以获取。为克服上述困难,本文提出一种带有GAN(Generative Adversarial Network)损失的预训练平均教师方法,以实现低剂量SPECT重建。所提方法为平均教师模型引入基于Swin-Conv-Unet的预训练模型,以提高未标记训练数据的可靠性。教师模型通过一致性正则化监督学生模型;预训练模型使用少量标记数据进行训练,并通过GAN损失提高监督可靠性。数值实验验证所提方法在抑制噪声和保持特征方面的性能,相较于平均教师方法,论文重建方法所得图像的结构相似性指数提高了2%,均方根误差降低了9%,峰值信噪比提高了0.77 d B。数据集由SIMIND仿真软件使用XCAT数字模体生成。 展开更多

关键词 半监督学习 SPECT重建 平均教师 预训练模型

下载PDF 职称材料

傅里叶增强的无偏跨域目标检测研究

2

作者 王兵 徐裴 张兴鹏 《计算机科学与探索》 CSCD 北大核心 2024年第9期2436-2448,共13页

无偏跨域目标检测的主要目的是借助知识蒸馏最大限度地利用源域的知识,通过领域自适应减小模型的跨域差距。然而,通常用于无偏跨域目标检测的平均教师方法所产生的伪标签并不可靠,从而导致师生模型间仍然存在较大的领域偏差问题。受傅... 无偏跨域目标检测的主要目的是借助知识蒸馏最大限度地利用源域的知识,通过领域自适应减小模型的跨域差距。然而,通常用于无偏跨域目标检测的平均教师方法所产生的伪标签并不可靠,从而导致师生模型间仍然存在较大的领域偏差问题。受傅里叶变换中相位信息不变性特点的启发,在平均教师的基础上提出傅里叶增强无偏协同教师模型(FAUMT)。利用傅里叶相位信息的不变性,设计振幅混合的数据增强(AMDA)模块,其可以有效地混合源域和目标域间的相位信息从而实现数据增强。而数据增强会产生额外的噪声,设计两个一致性损失来保证数据增强前后预测的一致性。此外,为平衡模型训练过程中源域和目标域间的跨域偏差,还设计了多层对抗学习(MAL)模块,旨在对不同层次的像素级别特征进行域对齐。在三个基准数据集Cilpart1K、Watercolor2K、Comic2K上,该方法的mAP分别达到了47.5%、58.9%、46.1%,超过了其他算法。 展开更多

关键词 领域自适应 跨域目标检测 深度神经网络 平均教师

下载PDF 职称材料

基于双模型交互学习的半监督医学图像分割 被引量：1

3

作者 方超伟 李雪 +2 位作者 李钟毓 焦李成 张鼎文 《自动化学报》 EI CAS CSCD 北大核心 2023年第4期805-819,共15页

在医学图像中,器官或病变区域的精准分割对疾病诊断等临床应用有着至关重要的作用,然而分割模型的训练依赖于大量标注数据.为减少对标注数据的需求,本文主要研究针对医学图像分割的半监督学习任务.现有半监督学习方法广泛采用平均教师模... 在医学图像中,器官或病变区域的精准分割对疾病诊断等临床应用有着至关重要的作用,然而分割模型的训练依赖于大量标注数据.为减少对标注数据的需求,本文主要研究针对医学图像分割的半监督学习任务.现有半监督学习方法广泛采用平均教师模型,其缺点在于,基于指数移动平均(Exponential moving average,EMA)的参数更新方式使得老师模型累积学生模型的错误知识.为避免上述问题,提出一种双模型交互学习方法,引入像素稳定性判断机制,利用一个模型中预测结果更稳定的像素监督另一个模型的学习,从而缓解了单个模型的错误经验的累积和传播.提出的方法在心脏结构分割、肝脏肿瘤分割和脑肿瘤分割三个数据集中取得优于前沿半监督方法的结果.在仅采用30%的标注比例时,该方法在三个数据集上的戴斯相似指标(Dice similarity coefficient,DSC)分别达到89.13%,94.15%,87.02%. 展开更多

关键词 半监督学习 医学图像分割 双模型交互学习 平均教师

下载PDF 职称材料

非对称交叉平均教师:一种半监督语义分割算法及其在变电站表计读数识别中的应用 被引量：1

4

作者 滕国龙 郑易 +1 位作者 闫云凤 齐冬莲 《中国电机工程学报》 EI CSCD 北大核心 2023年第8期2979-2989,共11页

针对数据集标注成本高昂的问题,提出一种半监督语义分割算法,可以利用少量标注数据和大量无标注数据训练高精度的分割模型,节省大量人工标注成本。该文算法在经典的平均教师算法的基础上进行改进,将单组教师-学生模型扩展为双分支结构,... 针对数据集标注成本高昂的问题,提出一种半监督语义分割算法,可以利用少量标注数据和大量无标注数据训练高精度的分割模型,节省大量人工标注成本。该文算法在经典的平均教师算法的基础上进行改进,将单组教师-学生模型扩展为双分支结构,采用交叉监督的方式进行学生模型训练,有效解决了平均教师算法的模型耦合问题。另外,引入非线性投影模块构造两个非对称分支,使模型学习到异质知识,进一步提升了算法性能。对算法进行针对性调整后,可以较好地适配变电站实际应用场景。实验结果表明,该文算法不仅在变电站表计图像分割任务中表现出良好的性能,还在两个学术数据集PASCAL VOC 2012和CamVid中超过了当前主流算法。 展开更多

关键词 半监督语义分割 平均教师 变电站表计 读数识别

下载PDF 职称材料

基于层一致性平均教师模型的半监督岩石薄片图像分类

5

作者 严子杰 王杨 +1 位作者 陈雁 张翀 《应用科学学报》 CAS CSCD 北大核心 2024年第1期27-38,共12页

传统的岩石薄片图像分类依赖于大量人工标记的图像样本,这种方式受制于标记人员的经验和能力,且无法通过不断增加的未标记岩石薄片图像样本实现分类能力的可扩展式增强。该文提出的在平均教师(mean teacher, MT)模型的基础上,通过在无... 传统的岩石薄片图像分类依赖于大量人工标记的图像样本,这种方式受制于标记人员的经验和能力,且无法通过不断增加的未标记岩石薄片图像样本实现分类能力的可扩展式增强。该文提出的在平均教师(mean teacher, MT)模型的基础上,通过在无监督损失中添加层一致性正则化项的方式约束师生模型的层次结构,实现对未标记数据信息的有效利用。消融实验和层一致性平均教师(hierarchy consistency mean teacher, HCMT)模型对比实验结果表明,层一致性正则化方法利用了未标记数据的有效信息,提升了MT模型的分类效果,使得HCMT模型可以在半标记数据集中获得如全标记数据集相似的分类能力。该实验表明,半监督学习模型利用大量未标记岩石薄片图像数据可以提升模型分类的能力。 展开更多

关键词 半监督学习 平均教师模型 岩石薄片图像分类 层一致性方法

下载PDF 职称材料

融合注意力的教师互一致性半监督医学图像分割

6

作者 郭敏 张熙涵 李阳 《计算机工程》 CAS CSCD 北大核心 2024年第9期313-323,共11页

医学图像分割在疾病辅助诊断中起着关键的作用。现有的深度分割模型需要依赖带有标注的数据完成大规模训练,而医学影像标注需要具有专业背景的临床医生进行像素级标注,导致标注数据获取困难。基于半监督的医学图像分割方法利用少量的标... 医学图像分割在疾病辅助诊断中起着关键的作用。现有的深度分割模型需要依赖带有标注的数据完成大规模训练,而医学影像标注需要具有专业背景的临床医生进行像素级标注,导致标注数据获取困难。基于半监督的医学图像分割方法利用少量的标注数据和大量的未标注数据进行学习,可以在一定程度上缓解标注数据获取困难的问题。针对半监督分割模型不能充分利用未标注数据中的可学习信息的问题,提出一种半监督分割模型TCA-Net。该模型使用U-Net作为骨干网络,通过在U-Net中引入卷积块注意力模块(CBAM)与多头自注意力模块(MHA)来解决其在下采样过程中的信息丢失问题;为了充分利用未标注数据中的不确定性信息,构建一个教师互一致性模型,该模型由具有1个编码器和3个略有不同的解码器的学生模型与教师模型组成,通过在学生模型的概率映射与教师模型的伪标签之间添加一致性约束,以此在训练过程中最小化输出之间的差异,从而提升模型的分割效果。在公开的WORD腹部多器官数据集与ACDC心脏数据集上进行实验,结果表明,在使用20%标注数据的WORD数据集上,TCA-Net的Dice系数、Jaccard指数、HD95和ASD分别达到90.81%、83.79%、21.38和6.08,在ACDC数据集上分别达到89.69%、81.94%、1.66和0.45。消融实验与对比实验结果表明,TCA-Net能够有效提升未标注数据的利用率,在不同数据集上均达到了较好的分割效果,验证了模型的鲁棒性。 展开更多

关键词 医学图像分割 半监督学习 注意力机制 平均教师模型 一致性正则化

下载PDF 职称材料

基于弱监督的口腔鳞状细胞癌病理图像分割

7

作者 李达义 孙晶晶 +2 位作者 林天成 李江 徐奕 《信息技术》 2024年第2期1-7,14,共8页

考虑到口腔鳞状细胞癌病理图像的超高分辨率,文中提出用简单的曲线粗略勾画三类前景区域,使得前景区域标签是包含背景区域的粗标签,仅耗费专业精细标注1/6的时间。文中利用粗标签中前景区域含噪声,但背景区域都是干净标签这一事实,通过... 考虑到口腔鳞状细胞癌病理图像的超高分辨率,文中提出用简单的曲线粗略勾画三类前景区域,使得前景区域标签是包含背景区域的粗标签,仅耗费专业精细标注1/6的时间。文中利用粗标签中前景区域含噪声,但背景区域都是干净标签这一事实,通过多个背景模板滤除误标的前景像素,实现对前景部分的精细化分割。具体地,文中提出基于背景相似度感知的平均教师模型(BS-MT),通过抽取高度多样性和鲁棒性的背景模板,指导学生网络利用模板滤波滤除背景像素而生成高质量的前景标签。在自建的OSCC-CA数据集,该方法的mIoU比U-Net和其他弱监督方法分别高出2.5%和1.1%以上。 展开更多

关键词 弱监督分割 病理图像分割 背景相似度感知平均教师

下载PDF 职称材料

基于多教师网络模型的半监督语义分割方法

8

作者 许华杰 肖毅烽 《计算机科学》 CSCD 北大核心 2023年第12期279-284,共6页

基于一致性正则化的方法在半监督语义分割任务中展现出了较好的性能,这类方法通常涉及两个角色:一个显式或隐式的教师网络和一个学生网络。其中学生网络通过最小化两个网络对不同扰动样本预测结果之间的一致性损失实现训练。但是来自单... 基于一致性正则化的方法在半监督语义分割任务中展现出了较好的性能,这类方法通常涉及两个角色:一个显式或隐式的教师网络和一个学生网络。其中学生网络通过最小化两个网络对不同扰动样本预测结果之间的一致性损失实现训练。但是来自单个教师网络的不可靠预测可能会导致学生网络学习到错误的信息。通过将平均教师模型MT的单教师网络扩展为多教师网络,提出了多平均教师网络(Multiple Mean Teacher Network,MMTNet)模型,使学生网络从多个教师网络的平均预测结果进行学习,有效降低单个教师网络预测错误的影响。此外,MMTNet通过对无标签数据进行强、弱数据增强的方式对无标签数据进行数据扰动,增加了无标签数据的多样性,在一定程度上缓解了学生网络和教师网络之间存在的耦合问题,避免了学生网络对教师网络的过度拟合,从而进一步降低了教师网络进行伪标签预测错误时所产生的影响。在PASCAL VOC 2012扩充数据集上的实验结果表明,所提出的多平均教师网络MMTNet模型可获得比其他目前主流的半监督语义分割方法更高的平均交并比,且实际分割效果更优。 展开更多

关键词 半监督学习 语义分割 平均教师模型 多教师网络 一致性正则化

下载PDF 职称材料

基于类重平衡无监督域自适应的睡眠分期算法

9

作者 邵恒益 郑宇博 +2 位作者 罗莹莹 李蕾 张琳 《北京邮电大学学报》 EI CSCD 北大核心 2023年第6期8-14,共7页

睡眠障碍严重影响人体健康,基于脑电图的深度学习自动睡眠分期算法可帮助专家正确诊断患者的睡眠障碍。然而,训练数据的不平衡不利于少数类特征的学习,且由于数据分布的差异,训练数据上得到的自动睡眠分期模型在实际数据上的准确性往往... 睡眠障碍严重影响人体健康,基于脑电图的深度学习自动睡眠分期算法可帮助专家正确诊断患者的睡眠障碍。然而,训练数据的不平衡不利于少数类特征的学习,且由于数据分布的差异,训练数据上得到的自动睡眠分期模型在实际数据上的准确性往往会下降。对此,提出了一种融合类重平衡策略和半监督学习的无监督域自适应算法,并引入均衡损失函数以缓解睡眠分期数据集中数据不平衡的问题;同时,设计了平均教师方法,并引入随机的输出插值和相关置信度阈值以提升伪标签的精确度,通过鉴别器网络优化目标域数据的特征分布,从而改善模型在目标域上的分类准确性。在SHHS,Sleep-EDF和ISRUC-Sleep数据集上进行实验,证明所提算法的有效性,相比直接迁移算法的准确率提高了3.28%~13.27%,相比域统计对齐算法的准确率提高了6.73%~14.52%,相比自适应域统计对齐算法的准确率提高了0.78%~5.82%。 展开更多

关键词 无监督域自适应 分布对齐 自动睡眠分期 平均教师方法

原文传递

基于平均教师模型的弱标记半监督声音事件检测

10

作者 王金甲 杨倩 +1 位作者 崔琳 纪绍男 《复旦学报（自然科学版）》 CAS CSCD 北大核心 2020年第5期540-550,共11页

为了利用大量不平衡和未标记数据,采用一致性正则化思想的平均教师模型用于弱标记半监督声音事件检测,可有效减少半监督学习中的过拟合问题.在教师模型的权重更新过程中,首次提出将随机加权平均算法(SWA)用于声音事件检测,可以加快预测... 为了利用大量不平衡和未标记数据,采用一致性正则化思想的平均教师模型用于弱标记半监督声音事件检测,可有效减少半监督学习中的过拟合问题.在教师模型的权重更新过程中,首次提出将随机加权平均算法(SWA)用于声音事件检测,可以加快预测速度并且节约成本.针对模型的架构问题,采用改进的门控卷积长短时记忆网络(GCLSTM)作为学生模型和教师模型,其中全局加权秩池化层可以克服平均池化和最大池化对声音事件的低估和高估的限制,有效地提高系统的性能.在对数据进行特征提取过程中,采用SpecAugment策略对语谱图进行增强,从而有效地解决过拟合问题.为了评估实验方法,在声学场景和事件的检测及分类(DCASE)2018挑战任务4数据集上进行测试,结果表明:评估集的平均F1分数可达24.9%,明显优于基线系统和其他方法的F1分数. 展开更多

关键词 声音事件检测 弱标记半监督 平均教师模型 随机加权平均 数据增强

下载PDF 职称材料

基于伪标签的可防御稳定网络

11

作者 刘佳美 孙涵 林磊 《计算机技术与发展》 2022年第6期34-38,共5页

针对域自适应问题中无法较好地同时提升模型迁移能力和防御攻击能力导致其在目标域中不稳定且易受攻击的问题,提出了一种基于伪标签的可防御稳定网络。在条件域对抗网络的框架下,首先通过高斯混合模型对经过预训练输出的源域特征和目标... 针对域自适应问题中无法较好地同时提升模型迁移能力和防御攻击能力导致其在目标域中不稳定且易受攻击的问题,提出了一种基于伪标签的可防御稳定网络。在条件域对抗网络的框架下,首先通过高斯混合模型对经过预训练输出的源域特征和目标域特征进行共同聚类,得到基于类别概率的软伪标签来引入更为可靠的目标域信息,以拉近两域之间的距离;接着将源域和目标域数据输入学生网络和教师网络,教师网络参数根据历史上学生网络参数通过指数移动平均方法迭代更新,通过约束特征的类内一致性以减轻错误的伪标签带来的不利影响;与此同时,采用主动防御的思想,在训练中增加源域的对抗样本,使模型学习到更鲁棒的特征,提高其在目标域数据对对抗攻击的防御能力。在Office-31数据集上的实验结果表明,所提出的基于伪标签的可防御稳定网络能够有效提高模型的迁移能力和防御能力,从两个不同的方面提高了网络的鲁棒性。 展开更多

关键词 域自适应 聚类算法 伪标签 平均教师模型 主动防御

下载PDF 职称材料