SVM及其鲁棒性研究 被引量：5

1

作者 吉卫卫 谭晓阳 《电子科技》 2012年第5期97-100,共4页

多数人脸识别方法是利用大量正确标记的训练样本来学习精度足够高的识别模型。收集人脸图像并对其进行正确的标记会耗费大量的人力、物力,为了给已有的图像进行标注,研究者进行了大量的工作,但由于多种原因,标记的图像不一定全部正确,... 多数人脸识别方法是利用大量正确标记的训练样本来学习精度足够高的识别模型。收集人脸图像并对其进行正确的标记会耗费大量的人力、物力,为了给已有的图像进行标注,研究者进行了大量的工作,但由于多种原因,标记的图像不一定全部正确,称这种标记错误为类别噪声。文中针对含类别噪声的人脸识别问题,指出SVM适用于这类问题,并通过分析位于不同位置的样本对分类的影响从理论上解释了SVM对噪声具有鲁棒性的原因。在SVM基础上,删除一定比例的被判定为噪声的样本后,鲁棒性能有所提高。PubFig数据集上的量实验验证了SVM及改进算法在含类别噪声学习中的有效性。 展开更多

关键词 人脸识别 噪声学习 SVM

下载PDF 职称材料

基于多尺度动态加权多级残差卷积自编码的旋转机械信号降噪方法

2

作者 杜文辽 杨凌凯 +3 位作者 王宏超 巩晓赟 赵峰 李川 《机械工程学报》 EI CAS CSCD 北大核心 2024年第18期53-63,共11页

振动信号常用于监测旋转机械的运行状态,但在采集过程中往往包含大量噪声,为了尽可能去除噪声干扰,提出一种噪声学习的新型神经网络,即基于多尺度动态加权多级残差卷积自编码网络(MDW-MRSCAE)的降噪方法。确切地,通过深度卷积自编码和... 振动信号常用于监测旋转机械的运行状态,但在采集过程中往往包含大量噪声,为了尽可能去除噪声干扰,提出一种噪声学习的新型神经网络,即基于多尺度动态加权多级残差卷积自编码网络(MDW-MRSCAE)的降噪方法。确切地,通过深度卷积自编码和残差模块结合,使自编码网络对噪声成分进行编码和解码,通过学习噪声特性取代传统学习干净信号。为了解决网络学习中梯度消失问题,提高收敛速度,构建多层残差结构。特别的,在网络中加入多尺度特征提取网络层加强网络对噪声的特征提取能力。为体现不同卷积核的全局贡献,构造动态加权网络层,自适应调整各卷积核的全局权重,进一步提高网络去噪能力。通过典型模拟信号和不同故障实际轴承信号,验证网络去噪有效性。结果表明,该网络模型优于已发表的同类最新模型,信号高频噪声得到明显抑制。 展开更多

关键词 噪声学习 多尺度卷积核 动态加权 多级残差网络 信号去噪

原文传递

标签差网络在噪声标签数据集中的应用 被引量：1

3

作者 江倩殷 余志 李熙莹 《计算机工程与应用》 CSCD 北大核心 2023年第6期92-100,共9页

噪声标签在实际数据集中普遍存在,这将严重影响深度神经网络的学习效果。针对此问题,提出了一种基于标签差学习的噪声标签数据识别与数据再标记方法。该方法设计两种不同的伪标签生成策略,利用基础网络所识别的干净数据生成人工噪声数据... 噪声标签在实际数据集中普遍存在,这将严重影响深度神经网络的学习效果。针对此问题,提出了一种基于标签差学习的噪声标签数据识别与数据再标记方法。该方法设计两种不同的伪标签生成策略,利用基础网络所识别的干净数据生成人工噪声数据集,并计算该数据集的标签差向量或标签差矩阵;以强化相似类别间的关联性为目标,利用全连接层与单行卷积核,设计标签差向量网络与标签差矩阵网络等两种噪声学习网络直接学习样本数据的噪声概率;设计与噪声率线性相关的阈值,对干净数据与噪声数据进行判断。通过设计实验,对包括伪标签生成策略、网络结构、训练迭代次数等影响网络识别性能的因素进行分析。在公开数据集上的测试表明,在多种噪声分布情况中,该算法在保持干净数据的准确率与召回率基本稳定的前提下,能显著提高噪声数据的准确率与召回率,提高幅度最大为16.45%及21.01%。 展开更多

关键词 噪声数据集 噪声标签 标签差 噪声学习 深度学习

下载PDF 职称材料

基于机器学习辅助的人机数据融合方法

4

作者 徐鑫 《信息通信》 2020年第12期4-7,共4页

从未经验证的数据中获得较高的质量的回答是一个经典问题。考虑了一种存在历史数据的二分类任务,利用历史任务训练出分类器后通过比对工人以及分类器给当前任务提供的回答估测分类器的准确率以融合数据来提高最终结果的准确度并且节约... 从未经验证的数据中获得较高的质量的回答是一个经典问题。考虑了一种存在历史数据的二分类任务,利用历史任务训练出分类器后通过比对工人以及分类器给当前任务提供的回答估测分类器的准确率以融合数据来提高最终结果的准确度并且节约了劳动力。实验得出,在已知正负标签的先验概率时,充分利用先验概率进行的数据融合可以将分类器与工人的回答很好的融合并且获得更加准确的结果。实现了在没有正确的标签的情况下,训练分类器会根据不同的情况融合分类器与工人回答来提高最终结果的准确度的目标。 展开更多

关键词 众包 噪声学习 错误率估计 数据融合

下载PDF 职称材料

基于Co-Teaching的噪声标签深度学习

5

作者 夏强强 李菲菲 《电子科技》 2024年第11期1-6,共6页

大规模数据在人为标记时易出现标记误差,导致数据集存在噪声标签,影响深度神经网络模型的泛化。Co-teaching等现行研究方法中的样本选择机制易使噪声样本流入被选的干净标签样本子集,在训练中难以较好地控制深度神经网络模型对被选干净... 大规模数据在人为标记时易出现标记误差,导致数据集存在噪声标签,影响深度神经网络模型的泛化。Co-teaching等现行研究方法中的样本选择机制易使噪声样本流入被选的干净标签样本子集,在训练中难以较好地控制深度神经网络模型对被选干净样本子集的拟合。因此,文中提出一个基于Co-teaching改进的新算法。该方法通过增加两个正则化损失来分别避免模型过于信任某单一类别和陷入局部最优解中。此外,引入大学习率衰减训练方法使模型在训练初期更倾向学习干净标签样本特征以得到较好的模型参数。与Co-teaching结果相比,文中模型在20%和50%对称噪声以及45%非对称噪声环境下,在MNIST、CIFAR-10合成噪声数据集及Animal10N现实数据集上的性能均取得了提升。 展开更多

关键词 深度学习 卷积神经网络 图像分类 噪声标签数据 标签噪声学习 Co-teaching训练 学习率 鲁棒损失函数

下载PDF 职称材料

面向标签噪声的联合训练框架

6

作者 魏琦 孙皓亮 +1 位作者 马玉玲 尹义龙 《中国科学：信息科学》 CSCD 北大核心 2024年第1期144-158,共15页

当前面向标签噪声的鲁棒性学习通常依赖样本选择和标签修正两种策略,但是这两类方法均存在缺陷.基于样本选择的方法忽略了被过滤掉的样本中的有效信息,进而降低了模型的性能.基于标签修正的方法常使用自标签技术而引起模型的错误积累问... 当前面向标签噪声的鲁棒性学习通常依赖样本选择和标签修正两种策略,但是这两类方法均存在缺陷.基于样本选择的方法忽略了被过滤掉的样本中的有效信息,进而降低了模型的性能.基于标签修正的方法常使用自标签技术而引起模型的错误积累问题.对此,本文提出了一个集成样本选择、标签修正的联合训练框架.针对样本选择模块,本文设计了一种新的选择标准,通过在线选择的方法对所挑选的样本集合进行更新.相较于现有选择标准,本文提出的标准可保留更多边界样本,提升了模型对决策边界的学习性能,增强了模型的泛化性能.针对标签修正模块,本文提出了一种联合标签修正策略.相比于传统的自标签修正技术,该模块通过联合特征空间视角,对噪声样本进行多视角的标签修正,解决了传统自标签技术的错误累积问题.此外,本文引入对比学习正则化项,提升了标签修正效果和模型表征学习能力.本文方法在4个测试基准上取得了当前最好分类效果,验证了所提训练框架的有效性. 展开更多

关键词 标签噪声学习 样本选择 标签修正 对比学习

原文传递

基于混合比例估计的标签噪声学习方法

7

作者 郑庆华 曹书植 +2 位作者 阮建飞 赵锐 董博 《中国科学：信息科学》 CSCD 北大核心 2024年第3期603-622,共20页

近年来,人工智能蓬勃发展,伴随着计算硬件算力的提升,深度学习已成为了人工智能算法的新范式.然而深度学习依赖大量精确标注的数据,在现实的多类别分类场景中,受限于标注成本和隐私数据保护等因素,大量精准标注的数据往往难以获得.近些... 近年来,人工智能蓬勃发展,伴随着计算硬件算力的提升,深度学习已成为了人工智能算法的新范式.然而深度学习依赖大量精确标注的数据,在现实的多类别分类场景中,受限于标注成本和隐私数据保护等因素,大量精准标注的数据往往难以获得.近些年,移动众包和网络爬虫这类经济廉价的数据收集方法被广泛采用,但他们不可避免地引入了错误标注,即标签噪声.鉴于深度神经网络强大的数据拟合能力,标签噪声的存在将造成算法的过拟合,严重制约了深度学习方法的泛化能力.针对标签噪声问题,现有研究大多显式或隐式地依赖锚点(明确属于某一类别的样本),然而在现实场景中锚点难以获取,这使得现有解决方案不再适用.为解决这一问题,本文创造性地将多类别标签噪声学习问题转化为混合比例估计(mixture proportion estimation,MPE)问题,构建了一种不依赖锚点的满足统计一致性的学习算法.本文的主要贡献包括:(1)对现有的仅适用于二组成物MPE场景的R-MPE(regrouping-MPE)方法进行推广,提出了多组成物场景下不依赖不可约假设的MPE方法MR-MPE(multi-component oriented R-MPE);(2)理论上证明了多类别分类场景下标签噪声学习算法锚点假设和MPE问题不可约假设的等价性,并基于所提出的MR-MPE方法构建了不依赖锚点的满足统计一致性的算法.本文在合成噪声数据集和真实噪声数据集上分别与现有算法进行了对比实验,结果显示本文所提算法在多个数据集上均展现出了最优的性能;同时,在移除锚点的情况下,本文对算法的鲁棒性进行了测试,验证了所提算法不依赖锚点的特性. 展开更多

关键词 混合比例估计 多类别分类 标签噪声学习 锚点 不可约假设 统计一致性

原文传递

基于深度学习的标签噪声学习算法综述

8

作者 黄涵 《信息系统工程》 2023年第10期39-42,共4页

在深度学习算法的使用过程中,样本被正确标注与否直接影响着深度学习模型的构建与学习的效果。这些算法标注数据的过程是一个高成本、费精力的过程,并且在标注数据的过程中由于受到各种主客观因素的影响,往往会导致标签噪声的产生,这种... 在深度学习算法的使用过程中,样本被正确标注与否直接影响着深度学习模型的构建与学习的效果。这些算法标注数据的过程是一个高成本、费精力的过程,并且在标注数据的过程中由于受到各种主客观因素的影响,往往会导致标签噪声的产生,这种情况在模型实际应用中非常常见。为了更好地研究和解决标签噪声这类问题,找到较为合理的模型标签噪声解决方案,尝试从深度学习的角度出发,研究现有的标签噪声学习算法有关文献,并将那些能让标签噪声被有效训练、合理消除的模型进行更深入研究。 展开更多

关键词 深度学习 标签噪声 标签噪声学习算法

下载PDF 职称材料

基于两步噪声学习网络的波束域毫米波大规模MIMO信道估计

9

作者 杨静 王朋朋 陶华伟 《电讯技术》 北大核心 2023年第3期390-395,共6页

针对波束域毫米波大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)系统,构建了一种新型两步噪声学习网络(Two-step Noise Learning Network,TNLNet)。基本原理是在接收信号反复经过卷积层和池化层提取噪声特征的基础上,利用... 针对波束域毫米波大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)系统,构建了一种新型两步噪声学习网络(Two-step Noise Learning Network,TNLNet)。基本原理是在接收信号反复经过卷积层和池化层提取噪声特征的基础上,利用波束域毫米波大规模MIMO信道矩阵稀疏性所引起的相邻元素相近的特点,采用下采样将信道矩阵重构成4个子矩阵,提高训练测试效率。该算法具有以比全卷积去噪近似消息传递(Fully Convolutional Denoising Approximate Message Passing,FCDAMP)算法和学习去噪的近似消息传递(Learned Denoising-based Approximate Message Passing,LDAMP)算法更低的复杂度,取得了比最小二乘算法、最小均方误差算法、FCDAMP和LDAMP更优的归一化均方误差(Normalized Mean Squared Error,NMSE)性能;与快速灵活去噪卷积神经网络(Fast and Flexible Denoising convolutional neural Network,FFDNet)相比虽然复杂度略高,但具有更优的NMSE性能,且在单一训练模型中获得了比FFDNet更宽的信噪比适用范围,增强了实用性。 展开更多

关键词 毫米波大规模MIMO 波束域信道估计 两步噪声学习网络(TNLNet)

下载PDF 职称材料

基于K-means聚类和特征空间增强的噪声标签深度学习算法 被引量：2

10

作者 吕佳 邱小龙 《智能系统学报》 CSCD 北大核心 2024年第2期267-277,共11页

深度学习中神经网络的性能依赖于高质量的样本,然而噪声标签会降低网络的分类准确率。为降低噪声标签对网络性能的影响,噪声标签学习算法被提出。该算法首先将训练样本集划分成干净样本集和噪声样本集,然后使用半监督学习算法对噪声样... 深度学习中神经网络的性能依赖于高质量的样本,然而噪声标签会降低网络的分类准确率。为降低噪声标签对网络性能的影响,噪声标签学习算法被提出。该算法首先将训练样本集划分成干净样本集和噪声样本集,然后使用半监督学习算法对噪声样本集赋予伪标签。然而,错误的伪标签以及训练样本数量不足的问题仍然限制着噪声标签学习算法性能的提升。为解决上述问题,提出基于K-means聚类和特征空间增强的噪声标签深度学习算法。首先,该算法利用K-means聚类算法对干净样本集进行标签聚类,并根据噪声样本集与聚类中心的距离大小筛选出难以分类的噪声样本,以提高训练样本的质量;其次,使用mixup算法扩充干净样本集和噪声样本集,以增加训练样本的数量;最后,采用特征空间增强算法抑制mixup算法新生成的噪声样本,从而提高网络的分类准确率。并在CIFAR10、CIFAR100、MNIST和ANIMAL-10共4个数据集上试验验证了该算法的有效性。 展开更多

关键词 噪声标签学习 深度学习 半监督学习 机器学习 神经网络 K-MEANS聚类 特征空间增强 mixup算法

下载PDF 职称材料

元自步学习 被引量：6

11

作者 束俊 孟德宇 徐宗本 《中国科学：信息科学》 CSCD 北大核心 2020年第6期781-793,共13页

自步学习是近年来机器学习领域提出的一种启发于人和动物"由易到难"学习过程的学习机制.尽管自步学习已取得可喜的理论与应用进展,但是当前的自步学习算法仍存在超参数选择的瓶颈问题.针对该问题当前主要采用一些启发式的手... 自步学习是近年来机器学习领域提出的一种启发于人和动物"由易到难"学习过程的学习机制.尽管自步学习已取得可喜的理论与应用进展,但是当前的自步学习算法仍存在超参数选择的瓶颈问题.针对该问题当前主要采用一些启发式的手工设计方法或者交叉验证方法,然而此类方法效率很低,缺乏理论性指导,难以推广应用到广泛的实践问题中.针对这一挑战性问题,本文提出一种基于元学习机理的自步学习算法,该方法能使自步学习中涉及的超参数以数据驱动的方式自动习得,从而大大减弱了自步学习的这一核心问题.特别地,我们针对3种典型的自步学习实现格式,将所提元学习策略实质性嵌入,通过回归和分类实验验证了所提算法的准确性和泛化性,特别验证了相比于传统超参设置方法的显著优越性. 展开更多

关键词 自步学习 元学习 样本加权 噪声标记下学习 超参数选择

原文传递

基于负学习的样本重加权鲁棒学习方法

12

作者 邹博士 杨铭 +2 位作者 宗辰辰 谢明昆 黄圣君 《计算机应用》 CSCD 北大核心 2024年第5期1479-1484,共6页

噪声标记学习方法能够有效利用含有噪声标记的数据训练模型,显著降低大规模数据集的标注成本。现有的噪声标记学习方法通常假设数据集中各个类别的样本数目是平衡的,但许多真实场景下的数据往往存在噪声标记,且数据的真实分布具有长尾现... 噪声标记学习方法能够有效利用含有噪声标记的数据训练模型,显著降低大规模数据集的标注成本。现有的噪声标记学习方法通常假设数据集中各个类别的样本数目是平衡的,但许多真实场景下的数据往往存在噪声标记,且数据的真实分布具有长尾现象,这导致现有方法难以设计有效的指标,如训练损失或置信度区分尾部类别中的干净样本和噪声样本。为了解决噪声长尾学习问题,提出一种基于负学习的样本重加权鲁棒学习(NLRW)方法。具体来说,根据模型对头部类别和尾部类别样本的输出分布,提出一种新的样本权重计算方法,能够使干净样本的权重接近1,噪声样本的权重接近0。为了保证模型对样本的输出准确,结合负学习和交叉熵损失使用样本加权的损失函数训练模型。实验结果表明,在多种不平衡率和噪声率的CIFAR-10以及CIFAR-100数据集上,NLRW方法相较于噪声长尾分类的最优基线模型TBSS(Two stage Bi-dimensional Sample Selection),平均准确率分别提升4.79%和3.46%。 展开更多

关键词 噪声标记学习 长尾学习 噪声长尾学习 样本重加权 负学习

下载PDF 职称材料

噪声标签重标注方法 被引量：5

13

作者 余孟池 牟甲鹏 +1 位作者 蔡剑 徐建 《计算机科学》 CSCD 北大核心 2020年第6期79-84,共6页

样本标签的完整性对于有监督学习问题的分类精度有着显著影响,然而在现实数据中,由于标注过程的随机性和标注人员的不专业性等因素,数据标签不可避免地会受到噪声污染,即样本的观测标签不同于真实标签。为降低噪声标签对分类器分类精度... 样本标签的完整性对于有监督学习问题的分类精度有着显著影响,然而在现实数据中,由于标注过程的随机性和标注人员的不专业性等因素,数据标签不可避免地会受到噪声污染,即样本的观测标签不同于真实标签。为降低噪声标签对分类器分类精度的负面影响,文中提出一种噪声标签纠正方法,该方法利用基分类器对观测样本进行分类并估计噪声率,以识别噪声标签数据,再利用基分类器的分类结果对噪声标签样本进行重新标注,得到噪声标签样本被修正后的样本数据集。在合成数据集与真实数据集上的实验结果表明,该重标注算法在不同基分类器和不同噪声率干扰下对分类结果都有一定的提升作用,在合成数据集上对比无降噪声算法,其正确率提升5%左右,而在CIFAR和MNIST数据集上的高噪声率环境下,该重标注算法的F 1值比Elk08和Nat13平均高7%以上,比无噪声算法高53%。 展开更多

关键词 噪声标签学习 重标注标签 逻辑回归 朴素贝叶斯

下载PDF 职称材料

混合约简:一种可调整的覆盖码约简算法

14

作者 耿致远 胡红钢 《密码学报（中英文）》 CSCD 北大核心 2024年第4期820-829,共10页

带噪声奇偶学习问题(learning parity with noise,LPN)是密码学中的一类重要困难问题,它可以视作随机线性码译码问题的一般形式,是抗量子假设中的有力候选.在求解LPN问题前,通常需要执行约简操作,将待求实例转化为秘密长度更短的实例.... 带噪声奇偶学习问题(learning parity with noise,LPN)是密码学中的一类重要困难问题,它可以视作随机线性码译码问题的一般形式,是抗量子假设中的有力候选.在求解LPN问题前,通常需要执行约简操作,将待求实例转化为秘密长度更短的实例.本文提出了一种新的混合约简算法Hybrid,它将经典的丢弃约简算法和覆盖码约简算法相结合,在约简过程中丢弃与码字距离超过给定界限的LPN样本,而非将所有样本直接近似到码字.这种新的约简方法可以到达权衡样本复杂度和时间复杂度的目的.从算法层面讲,丢弃约简与覆盖码约简可以视作混合约简的特例.最后,使用池化高斯算法求解经过混合约简后的LPN样本,给出了其完整的理论复杂度.数值估计的结果表明混合约简可以进一步缩减良好池化高斯算法(Well-Pooled Gauss)的样本复杂度,但需要以时间开销上升为代价. 展开更多

关键词 带噪声奇偶学习 丢弃约简算法 覆盖码约简算法 池化高斯算法

下载PDF 职称材料

噪声标签识别与纠正的置信度预测方法 被引量：3

15

作者 汪敏 伍文静 +1 位作者 刘瀚阳 闵帆 《西北大学学报（自然科学版）》 CAS CSCD 北大核心 2022年第5期857-867,共11页

弱监督场景下的标签噪声广泛存在于现实世界的数据中,导致分类性能下降。测量误差、主观标签偏差和人为标记错误都是导致噪声标签的主要原因。为降低噪声标签对模型分类性能的影响,该文提出一种噪声标签识别与纠正的置信度预测方法(CPRC... 弱监督场景下的标签噪声广泛存在于现实世界的数据中,导致分类性能下降。测量误差、主观标签偏差和人为标记错误都是导致噪声标签的主要原因。为降低噪声标签对模型分类性能的影响,该文提出一种噪声标签识别与纠正的置信度预测方法(CPRC)。首先,定义初始可信样本选择策略,筛选优质的可信样本;然后,建立置信度连接关系,设计标签概率预测方法,推断样本标签置信度;最后,迭代搜索最优置信度样本,实现噪声标签识别和纠正。该文选择在Seeds、Penbase等经典数据集上进行广泛实验,实验结果表明,该文算法可以显著提高不同类型基础分类器在不同噪声比下的分类性能,且性能优于目前先进的噪声标签学习算法。 展开更多

关键词 噪声标签学习 标签纠正 置信度统计

下载PDF 职称材料

结构化学习的噪声可学习性分析及其应用 被引量：2

16

作者 于墨 赵铁军 +1 位作者 胡鹏龙 郑德权 《软件学报》 EI CSCD 北大核心 2013年第10期2340-2353,共14页

噪声可学习性理论指出,有监督学习方法的性能会受到训练样本标记噪声的严重影响.然而,已有相关理论研究仅针对二类分类问题.致力于探究结构化学习问题受噪声影响的规律性.首先,注意到在结构化学习问题中,标注数据的噪声会在训练过程中... 噪声可学习性理论指出,有监督学习方法的性能会受到训练样本标记噪声的严重影响.然而,已有相关理论研究仅针对二类分类问题.致力于探究结构化学习问题受噪声影响的规律性.首先,注意到在结构化学习问题中,标注数据的噪声会在训练过程中被放大,使得训练过程中标记样本的噪声率高于标记样本的错误率.传统的噪声可学习性理论并未考虑结构化学习中的这一现象,从而低估了问题的复杂性.从结构化学习问题的噪声放大现象出发,提出了新的结构化学习问题的噪声可学习性理论.在此基础上,提出了有效训练数据规模的概念,这一指标可用于在实践中描述噪声学习问题的数据质量,并进一步分析了实际应用中的结构化学习模型在高噪声环境下向低阶模型回退的情况.实验结果证明了该理论的正确性及其在跨语言映射和协同训练方法中的应用价值和指导意义. 展开更多

关键词 结构化学习 噪声PAC可学习性 词性标注 自然语言处理 协同训练 跨语言映射 半监督学习

下载PDF 职称材料

基于多模型融合的不完整数据分数插补算法 被引量：1

17

作者 邵良杉 赵松泽 《计算机工程》 CAS CSCD 北大核心 2023年第9期79-88,98,共11页

缺失数据插补是从不完整数据集中进行数据挖掘的重要步骤,现有插补算法无法有效利用高缺失率的样本,存在等效处理缺失率不同的样本、假设缺失数据与完整数据同分布问题。构建基于多模型融合的不完整数据分数插补算法FIB。根据噪声标签学... 缺失数据插补是从不完整数据集中进行数据挖掘的重要步骤,现有插补算法无法有效利用高缺失率的样本,存在等效处理缺失率不同的样本、假设缺失数据与完整数据同分布问题。构建基于多模型融合的不完整数据分数插补算法FIB。根据噪声标签学习,提出新的样本评分方式,以输出样本分数,通过建立机器学习模型将该分数作为分数样本权重,减小不可靠样本对模型性能的影响,并借鉴伪标签技术,使用高缺失率样本生成伪标签数据。将伪标签数据扩充至插补结果,形成待合并的单元插补结果,利用多个插补算法将单元插补结果融合生成最终插补结果。在12个公开UCI数据集上的实验结果表明,相比传统插补算法,使用样本评分、生成伪标签数据及多模型融合这3种新技术使插补效果分别平均相对提升2.35%、5.89%及7.78%,相比DIM,FIB的平均准确率相对提升8.39%。此外,随着模型个数的增加,插补效果也会相应增加,对于分类任务,5个模型融合的插补效果比2个模型的准确率平均相对提升11%,对于回归任务,R2得分平均相对提升15%。 展开更多

关键词 缺失数据插补 多模型融合 伪标签 噪声标签学习 数据挖掘

下载PDF 职称材料

联合特征细化和耐噪声对比学习的无监督行人重识别 被引量：1

18

作者 钱亚萍 王凤随 +1 位作者 熊磊 闫涛 《光电子．激光》 CAS CSCD 北大核心 2023年第7期762-770,共9页

针对无监督行人重识别(person re-identification,ReID)中行人特征表达不充分以及聚类过程产生噪声标签的问题,提出一种联合特征细化和耐噪声对比学习的无监督ReID方法。首先,为丰富无标记的行人表征,设计了非局部通道细化模块(non-loca... 针对无监督行人重识别(person re-identification,ReID)中行人特征表达不充分以及聚类过程产生噪声标签的问题,提出一种联合特征细化和耐噪声对比学习的无监督ReID方法。首先,为丰富无标记的行人表征,设计了非局部通道细化模块(non-local channel refinement module,NCRM)对关键特征信息进行加权强化,其融合了非局部通道的重要特征来捕获无标记数据的类间区别表征,形成更具有鉴别度的特征描述符。其次,考虑到特征的充分表达,采用广义均值(generalized mean,GEM)池化自适应调整参数来增强不同细粒度区域信息的提取能力。再次,为了减轻噪声标签对网络的负面影响,设计了耐噪声的动态对比均衡(dynamic contrastive equilibrium,DCE)损失函数进行无监督联合学习。最终,在两个公共数据集上的实验结果验证了所提方法的有效性和先进性,mAP分别达到了83.1%和71.9%,优于其他先进方法。 展开更多

关键词 行人重识别(ReID) 无监督 深度特征网络 非局部通道细化模块(NCRM) 耐噪声对比学习

原文传递

结合伪标签生成与噪声标签学习的弱监督点云分割

19

作者 邓安 张鹏 +2 位作者 陆竹恒 李蔚清 苏智勇 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2023年第2期273-283,共11页

针对当前基于深度学习的点云分割技术对点级别标注训练数据的依赖问题,提出一种基于伪标签生成与噪声标签学习的弱监督点云分割框架.首先,利用点云具有非局部相似性的特点,基于局部-非局部图对点云数据进行建模;其次,基于关系图卷积网络... 针对当前基于深度学习的点云分割技术对点级别标注训练数据的依赖问题,提出一种基于伪标签生成与噪声标签学习的弱监督点云分割框架.首先,利用点云具有非局部相似性的特点,基于局部-非局部图对点云数据进行建模;其次,基于关系图卷积网络,以半监督的方式为稀疏标注的点云训练集数据生成高质量的伪标签;最后,针对生成的伪标签中存在噪声标签的问题,设计一种利用含噪声标签数据准确训练现有点云分割网络的渐进式噪声鲁棒损失函数.在ShapeNet Part与S3DIS等公开点云分割数据集上的实验结果表明,该框架在推理阶段不增加模型额外运算量的情况下,当使用10%的标签时,在ShapeNet Part数据集上的分割精度与全监督方法相差0.1%;当使用1%的标签时,在S3DIS数据集上的分割精度与全监督方法相差5.2%. 展开更多

关键词 点云分割 弱监督学习 噪声标签学习 图卷积网络

下载PDF 职称材料

一种基于成对字向量和噪声鲁棒学习的同义词挖掘算法

20

作者 张浩宇 王戟 《自动化学报》 EI CAS CSCD 北大核心 2023年第6期1181-1194,共14页

同义词挖掘是自然语言处理中一项重要任务.为了构建大规模训练语料,现有研究利用远程监督、点击图筛选等方式抽取同义词种子,而这几种方式都不可避免地引入了噪声标签,从而影响高质量同义词挖掘模型的训练.此外,由于大量实体词所具有的... 同义词挖掘是自然语言处理中一项重要任务.为了构建大规模训练语料,现有研究利用远程监督、点击图筛选等方式抽取同义词种子,而这几种方式都不可避免地引入了噪声标签,从而影响高质量同义词挖掘模型的训练.此外,由于大量实体词所具有的少样本特性、领域分布差异性和预训练词向量训练目标与同义词挖掘任务的不一致性,在同义词挖掘任务中,词级别的预训练词向量很难产生高质量的实体语义表示.为解决这两个问题,提出了一种利用成对字向量和噪声鲁棒学习框架的同义词挖掘模型.模型利用预训练的成对字向量增强实体语义表示,并利用自动标注的噪声标签通过交替优化的方式,估计真实标签的分布并产生伪标签,希望通过这些改进提升模型的表示能力和鲁棒性.最后,使用WordNet分析和过滤带噪声数据集,并在不同规模、不同领域的同义词数据集上进行了实验验证.实验结果和分析表明,该同义词挖掘模型在各种数据分布和噪声比例下,与有竞争力的基准方法相比,均提升了同义词判别和同义词集合生成的效果. 展开更多

关键词 同义词挖掘 噪声标签学习 自然语言处理 成对字向量 信息抽取

下载PDF 职称材料