基于超球支持向量机的类增量学习算法研究 被引量：8

1

作者 秦玉平 李祥纳 +1 位作者 王秀坤 王春立 《计算机科学》 CSCD 北大核心 2008年第8期116-118,共3页

提出了一种超球支持向量机类增量学习算法。对每一类样本,利用超球支持向量机在特征空间中求得包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开。类增量学习过程中,只对新增类样本进行训练,使得该算法在很小的样本集、很小... 提出了一种超球支持向量机类增量学习算法。对每一类样本,利用超球支持向量机在特征空间中求得包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开。类增量学习过程中,只对新增类样本进行训练,使得该算法在很小的样本集、很小的空间代价下实现了类增量学习,大大降低了训练时间,同时保留了历史训练结果。分类过程中,通过计算待分类样本到各超球球心的距离判定其所属类别,分类简单快捷。实验结果证明,该算法不仅具有较高的训练速度,而且具有较高的分类速度和分类精度。 展开更多

关键词 支持向量机 类增量学习 超球

下载PDF 职称材料

基于特征空间增强重放和偏差校正的类增量学习方法

2

作者 孙晓鹏 余璐 徐常胜 《模式识别与人工智能》 EI CSCD 北大核心 2024年第8期729-740,共12页

网络不断学习新的知识时会遭受灾难性遗忘,增量学习方法可通过存储少量旧数据重放以实现增量学习的可塑性与稳定性的平衡.然而,存储旧任务的数据会有内存限制及隐私泄露的问题.针对该问题,文中提出基于特征空间增强重放和偏差校正的类... 网络不断学习新的知识时会遭受灾难性遗忘,增量学习方法可通过存储少量旧数据重放以实现增量学习的可塑性与稳定性的平衡.然而,存储旧任务的数据会有内存限制及隐私泄露的问题.针对该问题,文中提出基于特征空间增强重放和偏差校正的类增量学习方法,用于缓解灾难性遗忘.首先,每类存储一个中间层特征均值作为其代表的原型,并冻结低层特征提取网络,避免原型“漂移”.在增量学习阶段,存储的原型通过几何平移变换增强重放的方式维持先前任务的决策边界.然后,通过偏差校正为每个任务学习分类权重,进一步纠正方法分类偏向于新任务的问题.在4个基准数据集上的实验表明文中方法性能较优. 展开更多

关键词 类增量学习 持续学习 灾难性遗忘 特征表示 特征增强

下载PDF 职称材料

自适应在线增量ELM的故障诊断模型研究 被引量：4

3

作者 刘星 王文双 +1 位作者 赵建印 朱敏 《系统工程与电子技术》 EI CSCD 北大核心 2021年第9期2678-2687,共10页

为满足现役装备根据故障样本数据集积累的特点进行自适应故障诊断的需求,本文将极限学习机(extreme learning machine,ELM)的数据增量学习、隐藏层增量学习和输出层增量学习(类增量学习)3种增量学习模式,融合到一个统一的学习框架内,提... 为满足现役装备根据故障样本数据集积累的特点进行自适应故障诊断的需求,本文将极限学习机(extreme learning machine,ELM)的数据增量学习、隐藏层增量学习和输出层增量学习(类增量学习)3种增量学习模式,融合到一个统一的学习框架内,提出一种凸最优自适应增量在线顺序ELM(convex optimal adaptive incremental online sequential ELM,COAIOS-ELM)。模型能够根据增量学习中误差的变化情况,自适应地增加隐藏层神经元,减小分类误差;并可根据增量数据集中新出现的故障类别,进行相应的类增量学习,增加故障诊断的范围。有效解决了ELM增量学习过程中模型自适应动态选择最佳网络结构的问题,提高模型的故障诊断的精度和故障诊断的范围。本文选择UCI数据集中公共数据集和Biquad低通滤波电路故障诊断数据集,通过与类增量ELM(class incremental ELM,CI-ELM)模型对比实验,验证了所提方法的有效性。 展开更多

关键词 超限学习机 数据增量学习 隐藏层增量学习 类增量学习 故障诊断

下载PDF 职称材料

基于脑启发的类增量学习 被引量：1

4

作者 王伟 张志莹 +3 位作者 郭杰龙 兰海 俞辉 魏宪 《计算机应用研究》 CSCD 北大核心 2023年第3期671-675,688,共6页

现有的类增量学习方法多是采用存储数据或者扩展网络结构,但受内存资源限制不能有效缓解灾难性遗忘问题。针对这一问题,创新地提出基于脑启发生成式重放方法。首先,通过VAE-ACGAN模拟记忆自组织系统,提高生成伪样本的质量;再引入共享参... 现有的类增量学习方法多是采用存储数据或者扩展网络结构,但受内存资源限制不能有效缓解灾难性遗忘问题。针对这一问题,创新地提出基于脑启发生成式重放方法。首先,通过VAE-ACGAN模拟记忆自组织系统,提高生成伪样本的质量;再引入共享参数模块和私有参数模块,保护已提取的特征;最后,针对生成器中的潜在变量使用高斯混合模型,采样特定重放伪样本。在MNIST、Permuted MNIST和CIFAR-10数据集上的实验结果表明,所提方法的分类准确率分别为92.91%、91.44%和40.58%,显著优于其他类增量学习方法。此外,在MNIST数据集上,反向迁移和正向迁移指标达到了3.32%和0.83%,证明该方法实现任务的稳定性和可塑性之间的权衡,有效地防止了灾难性遗忘。 展开更多

关键词 类增量学习 持续学习 灾难性遗忘 脑启发生成重放

下载PDF 职称材料

基于原型回放和动态更新的类增量学习方法

5

作者 张禹 曹熙卿 +3 位作者 钮赛赛 许鑫磊 张倩 王喆 《计算机科学》 CSCD 北大核心 2023年第S02期14-20,共7页

灾难性遗忘问题在增量学习场景中普遍存在,而对旧知识的遗忘会严重影响模型在整个任务序列上的平均性能。因此,针对在增量学习过程中原型偏移引起的旧知识遗忘问题,提出了一种基于原型回放和动态更新的类增量学习方法。该方法在原型更... 灾难性遗忘问题在增量学习场景中普遍存在,而对旧知识的遗忘会严重影响模型在整个任务序列上的平均性能。因此,针对在增量学习过程中原型偏移引起的旧知识遗忘问题,提出了一种基于原型回放和动态更新的类增量学习方法。该方法在原型更新阶段保留新类的原型后,进一步采用动态更新策略对旧类的原型进行实时更新。具体地,在学习新任务后,该策略基于当前可访问数据的已知偏移,来实现在旧类原型中存在的未知偏移的近似估计,并最终完成对旧类原型的更新,从而缓解原始的旧类原型与当前的特征映射间的不匹配。在CIFAR-100和Tiny-ImageNet数据集上的实验结果表明,所提出的基于原型回放和动态更新的类增量学习方法能够有效地减少对旧知识的灾难性遗忘,提高模型在类增量学习场景中的分类性能。 展开更多

关键词 类增量学习 原型更新 知识蒸馏 原型回放 灾难性遗忘

下载PDF 职称材料

实现兼类样本类增量学习的一种算法 被引量：2

6

作者 秦玉平 王秀坤 王春立 《控制与决策》 EI CSCD 北大核心 2009年第1期137-140,共4页

针对兼类样本,提出一种类增量学习算法.利用超球支持向量机,对每类样本求得一个能包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.增量学习时,对新增样本以及旧样本集中的支持向量和超球附近的非支持向量进行训练,使得算... 针对兼类样本,提出一种类增量学习算法.利用超球支持向量机,对每类样本求得一个能包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.增量学习时,对新增样本以及旧样本集中的支持向量和超球附近的非支持向量进行训练,使得算法在很小的空间代价下实现兼类样本类增量学习.分类过程中,根据待分类样本到各超球球心的距离判定其所属类别.实验结果表明,该算法具有较快的训练、分类速度和较高的分类精度. 展开更多

关键词 支持向量机 超球 兼类 类增量学习

原文传递

基于分类特征约束变分伪样本生成器的类增量学习 被引量：2

7

作者 莫建文 陈瑶嘉 《控制与决策》 EI CSCD 北大核心 2021年第10期2475-2482,共8页

针对神经网络模型进行类增量训练时产生的灾难性遗忘问题,提出一种基于分类特征约束变分伪样本生成器的类增量学习方法.首先,通过构造伪样本生成器记忆旧类样本来训练新的分类器及新的伪样本生成器.伪样本生成器以变分自编码器为基础,... 针对神经网络模型进行类增量训练时产生的灾难性遗忘问题,提出一种基于分类特征约束变分伪样本生成器的类增量学习方法.首先,通过构造伪样本生成器记忆旧类样本来训练新的分类器及新的伪样本生成器.伪样本生成器以变分自编码器为基础,用分类特征进行约束,使生成的样本更好地保留旧类在分类器上的性能.然后,用旧分类器的输出作为伪样本的精馏标签,进一步保留从旧类获得的知识.最后,为了平衡旧类样本的生成数量,采用基于分类器分数的伪样本选择,在保持每个旧类伪样本数量平衡的前提下选择一些更具代表性的旧类伪样本.在MNIST、FASHION、E-MNIST和SVHN数据集上的实验结果表明,所提出的方法能有效减少灾难性遗忘的影响,提高图像的分类精度. 展开更多

关键词 类增量学习 灾难性遗忘 分类特征约束 变分自编码器 精馏标签 伪样本选择

原文传递

基于VAE的伪样本重排练实现的类增量学习 被引量：2

8

作者 莫建文 陈瑶嘉 《计算机工程与设计》 北大核心 2021年第8期2284-2290,共7页

针对神经网络模型进行类增量学习时产生的灾难性遗忘问题,提出一种基于VAE的伪样本重排练实现的类增量学习方法。采用VAE生成伪样本的方法,实现重排练,生成与真实图像相似的伪图像;引入大边界Softmax损失训练分类器,使分类器学习到类间... 针对神经网络模型进行类增量学习时产生的灾难性遗忘问题,提出一种基于VAE的伪样本重排练实现的类增量学习方法。采用VAE生成伪样本的方法,实现重排练,生成与真实图像相似的伪图像;引入大边界Softmax损失训练分类器,使分类器学习到类间距离更大、类内距离更小的特征;采用一种基于类均值特征的伪样本选择策略,基于分类器训练样本的类均值特征,使筛选出来的伪样本更具代表性。在MNIST、FASHION数据集上的实验结果表明,所提方法能有效减少灾难性遗忘的影响,提高图像分类精度。 展开更多

关键词 类增量学习 灾难性遗忘 伪样本重排练 变分自编码器 伪样本选择

下载PDF 职称材料

用于P2P流媒体识别的类增量学习算法 被引量：1

9

作者 李进 张鑫 王晖 《计算机工程》 CAS CSCD 北大核心 2011年第20期154-156,共3页

针对P2P流媒体流量识别中的类增量学习问题,提出一种基于"一对一"支持向量机多分类器的类增量学习算法CIOOL。充分利用原有多分类器知识,在不打破原有分类器体系的前提下加入新增类样本知识,以构造出新的多分类器。实验结果表... 针对P2P流媒体流量识别中的类增量学习问题,提出一种基于"一对一"支持向量机多分类器的类增量学习算法CIOOL。充分利用原有多分类器知识,在不打破原有分类器体系的前提下加入新增类样本知识,以构造出新的多分类器。实验结果表明,CIOOL算法能在保证识别精度的同时减少训练时间和内存消耗,是一种解决P2P流媒体流量识别中类增量问题的有效方法。 展开更多

关键词 P2P流媒体识别 类增量学习 一对一 支持向量机 CIOOL算法

下载PDF 职称材料

一种新的类增量学习方法 被引量：2

10

作者 秦玉平 陈一荻 +1 位作者 王春立 王秀坤 《计算机工程与应用》 CSCD 北大核心 2011年第34期181-183,237,共4页

提出一种新的基于超椭球的类增量学习算法。对每一类样本,在特征空间求得一个包围该类尽可能多样本的最小超椭球,使得各类样本之间通过超椭球隔开。类增量学习过程中,只对新增类样本进行训练。分类时,通过计算待分类样本是否在超椭球内... 提出一种新的基于超椭球的类增量学习算法。对每一类样本,在特征空间求得一个包围该类尽可能多样本的最小超椭球,使得各类样本之间通过超椭球隔开。类增量学习过程中,只对新增类样本进行训练。分类时,通过计算待分类样本是否在超椭球内判定其所属类别。实验结果证明,该方法较超球方法提高了分类精度和分类速度。 展开更多

关键词 超椭球 类增量学习 缩放因子

下载PDF 职称材料

实现兼类样本增量学习的一种算法

11

作者 秦玉平 王秀坤 王春立 《计算机应用与软件》 CSCD 2009年第8期32-34,共3页

针对兼类样本,提出一种增量学习算法。利用超球支持向量机,在特征空间对属于同一类别的样本求得一个能包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开。增量学习过程中,只对新增样本以及与新增样本具有相同兼类的旧样本集... 针对兼类样本,提出一种增量学习算法。利用超球支持向量机,在特征空间对属于同一类别的样本求得一个能包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开。增量学习过程中,只对新增样本以及与新增样本具有相同兼类的旧样本集中的支持向量进行训练,且每次训练只针对一类样本,使得算法在很小的样本集、很小的空间代价下实现兼类样本增量学习,同时保留了与新增样本类别无关的历史训练结果。分类过程中,通过计算待分类样本到各超球球心的距离判定其所属类别,分类准确快捷。实验结果证明了该算法的有效性。 展开更多

关键词 支持向量机 超球 兼类 增量学习

下载PDF 职称材料

基于深度学习的类别增量学习算法综述 被引量：3

12

作者 周大蔚 汪福运 +1 位作者 叶翰嘉 詹德川 《计算机学报》 EI CAS CSCD 北大核心 2023年第8期1577-1605,共29页

近年来,深度学习模型在众多领域取得了广泛成功.现有的深度学习模型大多部署在静态环境下,依赖提前收集好的数据集进行离线训练,模型一经确定,便无法进一步更新.然而,现实中开放动态的环境往往存在以流形式不断到来的数据,包括随时间演... 近年来,深度学习模型在众多领域取得了广泛成功.现有的深度学习模型大多部署在静态环境下,依赖提前收集好的数据集进行离线训练,模型一经确定,便无法进一步更新.然而,现实中开放动态的环境往往存在以流形式不断到来的数据,包括随时间演进不断产生的新类别数据.因此,理想的机器学习模型应能够从流式数据中不断学习新类,从而增强自身的判别能力.这样的学习范式被称作“类别增量学习”(class-incremental learning),且近年来已成为机器学习领域的研究热点.面对流式数据,直接使用新类别样本训练模型会使其遗忘旧类别的数据,造成整体性能的下降.因此,设计增量学习模型时,需确保模型在学习新类的同时也能够抵抗灾难性遗忘.本文从机器学习的三个重要方面(数据层面、参数层面、算法层面)着眼,总结和归纳近几年基于深度学习的类别增量学习算法.此外,本文还在基准数据集上对10种典型算法进行了实验验证,并从中总结出适应类别增量学习的一般性规律.最后,本文对基于深度学习的类别增量学习算法目前存在的挑战加以分析,并展望未来的发展趋势. 展开更多

关键词 类别增量学习 持续学习 开放动态环境 灾难性遗忘 模型复用

下载PDF 职称材料

DFE3D:双重特征增强的三维点云类增量学习

13

作者 孙昊 帅惠 +1 位作者 许翔 刘青山 《计算机系统应用》 2024年第8期132-144,共13页

随着点云采集技术的发展和三维应用需求的增加,实际场景要求针对流动数据持续动态地更新点云分析网络.对此,提出了双重特征增强的三维点云类增量学习方法,通过增量学习使点云目标分类技术能够适应新数据中不断出现新类别目标的场景.该... 随着点云采集技术的发展和三维应用需求的增加,实际场景要求针对流动数据持续动态地更新点云分析网络.对此,提出了双重特征增强的三维点云类增量学习方法,通过增量学习使点云目标分类技术能够适应新数据中不断出现新类别目标的场景.该方法通过对点云数据特性和旧类信息的研究分别提出了差异性局部增强模块和知识注入网络,以缓解类增量学习中的新类偏好问题.具体而言,差异性局部增强模块通过感知丰富的局部语义,表征出三维点云物体中不同的局部结构特性.随后,根据目标中每个局部结构的全局信息获得各个局部的重要性权重,强化对差异性局部特征的感知,从而提高新旧类特征差异性.另外,知识注入网络将旧模型中的旧知识注入新模型的特征学习过程中,增强后的混合特征能够更有效缓解旧类信息不足导致的新类偏好加剧现象.在三维点云数据集ModelNet40,ScanObjectNN,ScanNet,ShapeNet上的实验表明,该方法与现有最优方法相比,在4个数据集上的平均增量准确率有2.03%、2.18%、1.65%、1.28%提升. 展开更多

关键词 三维点云目标分类 类增量学习 差异性局部增强 知识注入 灾难性遗忘 点云表征

下载PDF 职称材料

基于记忆提炼的对比度量增强在线类增量学习图像分类方法

14

作者 王宏辉 殷进勇 杨建 《指挥控制与仿真》 2024年第1期44-54,共11页

图像分类中类增量学习具有知识灾难性遗忘现象,现有的基于经验回放方法着重考虑的是记忆库的更新和采样方式,忽略了新旧样本之间的特征关系。为此,提出了一种基于记忆提炼的对比度量增强在线类增量学习图像分类方法(cME 2),设计了两种... 图像分类中类增量学习具有知识灾难性遗忘现象,现有的基于经验回放方法着重考虑的是记忆库的更新和采样方式,忽略了新旧样本之间的特征关系。为此,提出了一种基于记忆提炼的对比度量增强在线类增量学习图像分类方法(cME 2),设计了两种新的正负样本对,对旧样本信息进行了加强重复再利用,强化了模型对冗余特征和共性特征的表达能力,基于最近邻均值分类器改善了嵌入空间中的样本分布合理性。最后,通过对比实验和消融实验验证了所提方法的有效性和高效性。 展开更多

关键词 在线类增量学习 灾难性遗忘 对比学习 经验回放

下载PDF 职称材料

基于声呐图像的类别增量学习方法研究

15

作者 陈鑫哲 梁红 徐微雨 《西北工业大学学报》 EI CAS CSCD 北大核心 2023年第2期303-309,共7页

由于声呐图像分辨率低、样本数少,现有的类别增量学习网络对历史任务目标出现了严重的灾难性遗忘问题,导致所有任务目标的平均识别率降低。基于生成重放的框架模式,提出了一种改进的类别增量学习网络,设计搭建新的深层卷积生成对抗网络... 由于声呐图像分辨率低、样本数少,现有的类别增量学习网络对历史任务目标出现了严重的灾难性遗忘问题,导致所有任务目标的平均识别率降低。基于生成重放的框架模式,提出了一种改进的类别增量学习网络,设计搭建新的深层卷积生成对抗网络取代变分自编码器,作为生成重放增量网络的重构模型,提升图像的重构效果;构建新的卷积神经网络取代多层感知机,作为生成重放增量网络的识别网络,提升图像的分类识别性能。结果表明,改进的生成重放增量网络缓解了历史任务目标的灾难性遗忘问题,显著提高所有任务目标的平均识别率显著提高。 展开更多

关键词 声呐图像识别 生成重放 类别增量学习

下载PDF 职称材料

基于开集类增量学习的人类活动识别研究

16

作者 郇战 周帮文 +3 位作者 王澄 董晨辉 刘艳 王佳晖 《实验技术与管理》 CAS 北大核心 2023年第2期40-47,共8页

通过可穿戴传感器采集的时间序列信号进行人类活动识别(HAR)需基于训练样本的已知类别进行,然而现实中可能面临不断增加的新类别数据,将新类别数据与已知类别有效区分是现阶段人类活动识别的研究热点。类增量学习旨在目标数据不断增加... 通过可穿戴传感器采集的时间序列信号进行人类活动识别(HAR)需基于训练样本的已知类别进行,然而现实中可能面临不断增加的新类别数据,将新类别数据与已知类别有效区分是现阶段人类活动识别的研究热点。类增量学习旨在目标数据不断增加时用新的知识更新已有模型,同时开集识别算法可以为分类器提供拒绝选项,以便识别出模型未见过的目标类型。该文设计了一种基于类增量学习的开集动作识别框架,该框架能够连续识别和学习新的未知类,将极值模型(EVM)与增量学习相结合,对于特征进行PCA降维,分别计算特征之间的余弦、欧式和曼哈顿距离,对新数据进行学习和识别。仿真实验结果表明,对比现有的模拟开集工作,该文所提出的模型在UCI和PAMAP2数据集上具有良好的表现,其中经过PCA降维和计算余弦距离取得了更高的精度。在类增量学习实验中,该模型既能够保持良好的精度,同时也能有效地辨别新类。 展开更多

关键词 增量学习 开集识别 人类活动识别 极值模型 PCA降维

下载PDF 职称材料

面向多姿态点云目标的在线类增量学习

17

作者 张润江 郭杰龙 +3 位作者 俞辉 兰海 王希豪 魏宪 《液晶与显示》 CAS CSCD 北大核心 2023年第11期1542-1553,共12页

针对目前增量学习中所面向目标都是固定姿态这一现象,本文考虑了更严格的设定,即面向多姿态目标的在线类增量学习,并提出了无视姿态重放方法来缓解在线类增量学习中面对多姿态目标时的灾难性遗忘。首先,将2D/3D目标进行点云化处理,以方... 针对目前增量学习中所面向目标都是固定姿态这一现象,本文考虑了更严格的设定,即面向多姿态目标的在线类增量学习,并提出了无视姿态重放方法来缓解在线类增量学习中面对多姿态目标时的灾难性遗忘。首先,将2D/3D目标进行点云化处理,以方便提取目标的有效几何信息;其次,基于SE(d)(d=2,3)群对网络进行平移旋转等变性改进,使网络能够提取更丰富的几何信息,从而降低模型在每个任务中受目标姿态的影响;最后,根据损失变化采样特定样本用于重放来缓解灾难性遗忘。实验结果表明,在面对固定姿态目标MNIST、CIFAR-10时,本文方法的最终平均精度分别达到了88%和42.6%,与对比方法结果相近,但最终平均遗忘率明显优于对比方法,分别降低了约3%和15%。在面对多姿态目标RotMNIST、trCIFAR-10时,本文方法依旧能很好地保持在固定姿态目标中的表现,基本不受目标姿态的影响。此外,在3D数据集ModelNet40中的表现也依旧稳定。本文所提方法在在线类增量学习中能够不受目标姿态的影响,同时能缓解灾难性遗忘,具有很好的稳定性和可塑性。 展开更多

关键词 在线类增量学习 灾难性遗忘 无视姿态重放 等变性 点云分类

下载PDF 职称材料

支持向量机加权类增量学习算法研究

18

作者 秦玉平 李祥纳 +1 位作者 王秀坤 王春立 《计算机工程与应用》 CSCD 北大核心 2007年第34期177-179,共3页

针对支持向量机类增量学习过程中参与训练的两类样本数量不平衡而导致的错分问题,给出了一种加权类增量学习算法,将新增类作为正类,原有类作为负类,利用一对多方法训练子分类器,训练时根据训练样本所占的比例对类加权值,提高了小类别样... 针对支持向量机类增量学习过程中参与训练的两类样本数量不平衡而导致的错分问题,给出了一种加权类增量学习算法,将新增类作为正类,原有类作为负类,利用一对多方法训练子分类器,训练时根据训练样本所占的比例对类加权值,提高了小类别样本的分类精度。实验证明了该方法的有效性。 展开更多

关键词 支持向量机 类增量学习 分类算法 加权

下载PDF 职称材料

基于因果关系的小样本类增量学习

19

作者 刘冰瑶 刘进锋 《计算机应用》 CSCD 北大核心 2024年第S01期54-59,共6页

相较于一次性获得所有训练数据的批量学习,小样本类增量学习具有更高的现实意义,它既能使机器学习更接近人类智能水平,又可以减少深度学习模型对大量训练数据的依赖。为缓解小样本类增量学习对旧类的遗忘,同时使分类过程不受任何因素的... 相较于一次性获得所有训练数据的批量学习,小样本类增量学习具有更高的现实意义,它既能使机器学习更接近人类智能水平,又可以减少深度学习模型对大量训练数据的依赖。为缓解小样本类增量学习对旧类的遗忘,同时使分类过程不受任何因素的干扰,提出一种基于因果关系的小样本类增量学习策略。首先,采用干预式小样本学习剔除预训练知识所产生的混淆影响,使样本特征与分类标签具有真实的因果关系;其次,采用基于因果效应的类增量学习方法,通过在旧数据与最终标签间建立通路达到数据重放的因果效应,缓解灾难性遗忘;最后,采用随机情节选择策略增强特征的可扩展性,使它适应后续的增量学习。在miniImageNet与CIFAR100数据集上的实验结果表明,所提方法在1~8轮的增量学习过程中取得了最优的平均精度,同时具有一定稳定性、可解释性。 展开更多

关键词 小样本类增量学习 可解释性 因果推断 增量学习 神经网络

下载PDF 职称材料

基于特征分布学习的小样本类增量学习

20

作者 姚光乐 祝钧桃 +3 位作者 周文龙 张贵宇 张伟 张谦 《计算机工程与应用》 CSCD 北大核心 2023年第14期151-157,共7页

关注了一个非常具有挑战性的问题:深度神经网络的小样本类增量学习。其中深度神经网络模型可以从少量的样本中逐步学习新知识,同时不会忘记已学习的旧知识。为了平衡模型对旧知识的记忆和对新知识的学习,提出了一个基于特征分布学习的... 关注了一个非常具有挑战性的问题:深度神经网络的小样本类增量学习。其中深度神经网络模型可以从少量的样本中逐步学习新知识,同时不会忘记已学习的旧知识。为了平衡模型对旧知识的记忆和对新知识的学习,提出了一个基于特征分布学习的小样本类增量学习方法。在基类上学习模型以获得一个性能良好的特征提取器,并使用每类的特征分布信息来表示知识。将已学习的知识与新类的特征一起映射到一个新的低维子空间中,以统一地回顾旧知识与学习新知识。在子空间内,还为每个新类生成了分类权值初始化,以提高模型对新类的适应性。大量实验表明,该方法可以有效地减轻模型对已学习知识的遗忘,同时提高模型对新知识的适应性。 展开更多

关键词 小样本类增量学习 深度神经网络 增量学习

下载PDF 职称材料