代价敏感学习方法综述 被引量：28

1

作者 万建武 杨明 《软件学报》 EI CSCD 北大核心 2020年第1期113-136,共24页

分类是机器学习的重要任务之一.传统的分类学习算法追求最低的分类错误率,假设不同类型的错误分类具有相等的损失.然而,在诸如人脸识别门禁系统、软件缺陷预测、多标记学习等应用领域中,不同类型的错误分类所导致的损失差异较大.这要求... 分类是机器学习的重要任务之一.传统的分类学习算法追求最低的分类错误率,假设不同类型的错误分类具有相等的损失.然而,在诸如人脸识别门禁系统、软件缺陷预测、多标记学习等应用领域中,不同类型的错误分类所导致的损失差异较大.这要求学习算法对可能导致高错分损失的样本加以重点关注,使得学习模型的整体错分损失最小.为解决该问题,代价敏感学习方法引起了研究者的极大关注.以代价敏感学习方法的理论基础作为切入点,系统阐述了代价敏感学习的主要模型方法以及代表性的应用领域.最后,讨论并展望了未来可能的研究趋势. 展开更多

关键词 代价敏感 损失 分类 人脸识别 软件缺陷预测 多标记学习

下载PDF 职称材料

代价敏感学习中的损失函数设计 被引量：15

2

作者 李秋洁 赵亚琴 顾洲 《控制理论与应用》 EI CAS CSCD 北大核心 2015年第5期689-694,共6页

一般的学习算法通过最小化分类损失使分类错误率最小化,而代价敏感学习则以最小化分类代价为目标,需构造代价敏感损失.本文探讨代价敏感损失的设计准则,首先介绍基于代价敏感风险优化的代价敏感学习方法,然后在Bayes最优分类理论框架下... 一般的学习算法通过最小化分类损失使分类错误率最小化,而代价敏感学习则以最小化分类代价为目标,需构造代价敏感损失.本文探讨代价敏感损失的设计准则,首先介绍基于代价敏感风险优化的代价敏感学习方法,然后在Bayes最优分类理论框架下,提出两条代价敏感损失设计准则.接着采用两种常用代价敏感损失生成方法构造平方损失、指数损失、对数损失、支持向量机损失等经典损失函数的代价敏感扩展形式.根据所提出的设计准则,从理论上分析这些代价敏感损失的性能.最后通过实验表明,同时满足两条设计准则的代价敏感损失能有效降低分类代价,从而证明了本文提出的代价敏感损失设计准则的合理性. 展开更多

关键词 学习算法 代价敏感学习 损失函数 Bayes最优决策 代价敏感损失

下载PDF 职称材料

不均衡数据下基于CS-Boosting的故障诊断算法 被引量：6

3

作者 姚培 王仲生 +1 位作者 姜洪开 刘贞报 《振动．测试与诊断》 EI CSCD 北大核心 2013年第1期111-115,169,共5页

针对传统Boosting算法在训练样本不均衡数据情况下不能较好地实现转子系统故障诊断的问题,提出了一种基于代价敏感度框架的Boosting故障诊断算法CS-Boosting。该算法建立了一个代价敏感损失函数,通过先验概率公式计算正样本与负样本的... 针对传统Boosting算法在训练样本不均衡数据情况下不能较好地实现转子系统故障诊断的问题,提出了一种基于代价敏感度框架的Boosting故障诊断算法CS-Boosting。该算法建立了一个代价敏感损失函数,通过先验概率公式计算正样本与负样本的惩罚因子,并通过决策规则的训练使代价损失函数最小化。将该算法应用到滚动轴承故障诊断中,并与传统的Adaboost算法进行对比。试验结果表明,在转子系统不能获取更多故障数据的情况下,该算法的故障诊断性能较其他算法有明显的提高。 展开更多

关键词 代价敏感度 滚动轴承 BOOSTING算法 CS—Boosting 代价损失函数

下载PDF 职称材料

基于代价敏感卷积神经网络的加密流量分类

4

作者 钟海龙 何月顺 +3 位作者 何璘琳 陈杰 田鸣 郑瑞银 《计算机与现代化》 2024年第5期55-60,共6页

针对加密流量分类中由于不平衡数据导致的分类偏差和少数类识别率低的问题,提出一种基于代价敏感卷积神经网络的加密流量分类方法。鉴于传统卷积神经网络在处理不平衡数据时容易偏向多数类,该方法引入动态权重调整策略,使其在每次迭代... 针对加密流量分类中由于不平衡数据导致的分类偏差和少数类识别率低的问题,提出一种基于代价敏感卷积神经网络的加密流量分类方法。鉴于传统卷积神经网络在处理不平衡数据时容易偏向多数类,该方法引入动态权重调整策略,使其在每次迭代中根据代价敏感层的反馈来重新评估并自适应调整每个样本的权重。当少数类样本被模型误分类时,其权重会增加,促使模型在后续训练中更加关注它们。随着训练的进行,这种动态权重调整策略持续驱使模型改进并提高对少数类样本的识别能力,从而有效地应对类别不平衡问题。为了避免过拟合,该方法还采纳早停策略,当验证集性能连续下滑时及时终止训练。实验结果表明,本文所提出的网络模型在处理类别不平衡的加密流量分类问题上具有显著的优势,准确率和F1值均达到0.97以上。本文研究为加密流量分类提供了一种更为有效且适应于类别不平衡问题的解决方案,为网络安全领域的研究与应用提供了有益的探索。 展开更多

关键词 卷积神经网络 代价敏感学习 加密流量分类 类不平衡 损失函数

下载PDF 职称材料

类别不平衡高维数据的最优逻辑斯蒂回归

5

作者 李智凡 尹建鑫 《系统科学与数学》 CSCD 北大核心 2023年第9期2341-2363,共23页

研究响应变量两类比例不平衡时逻辑斯蒂回归的最优参数估计和代价敏感分类问题.在代价敏感的损失函数下,将不平衡的两类数量之比作为参数,通过等价转换成一个重新加权的类别平衡分类问题,得到了原问题预测的超额风险(excess risk)的上... 研究响应变量两类比例不平衡时逻辑斯蒂回归的最优参数估计和代价敏感分类问题.在代价敏感的损失函数下,将不平衡的两类数量之比作为参数,通过等价转换成一个重新加权的类别平衡分类问题,得到了原问题预测的超额风险(excess risk)的上界和逻辑斯蒂回归系数误差上界.同时利用VC维技术得到了正则条件下超额风险的minimax下界.得出结论:在相差一个可忽略常数倍的意义下,非平衡数据在代价敏感损失下得到的惩罚似然估计的误差界可以达到最优,且最优误差与一个可收敛至零的稀有类比例有关.其次,论文还将主要结论推广至损失函数为非凸的情形,并讨论了在两类数量比例需要估计时的误差上界.此外,通过数值模拟比较了给定和待估计类别比例的实际表现,发现主要结论不受影响. 展开更多

关键词 代价敏感损失函数 类别不平衡数据 逻辑斯蒂回归 minimax最优

原文传递

基于代价敏感贝叶斯网络的烟叶感官质量评价 被引量：1

6

作者 高妍方 赵青松 陈英武 《计算机工程》 CAS CSCD 北大核心 2008年第21期187-189,共3页

贝叶斯网络在判别分类中具有很多优势,应用贝叶斯网络对烟叶感官质量进行预测和评价。一些烟叶质量指标的误分类代价不同,提出一种代价敏感贝叶斯网络。通过生成准则学习代价敏感贝叶斯网络的结构,进行代价敏感参数估计。应用代价敏感... 贝叶斯网络在判别分类中具有很多优势,应用贝叶斯网络对烟叶感官质量进行预测和评价。一些烟叶质量指标的误分类代价不同,提出一种代价敏感贝叶斯网络。通过生成准则学习代价敏感贝叶斯网络的结构,进行代价敏感参数估计。应用代价敏感贝叶斯网络对一组烟叶进行感官质量预测和评价,结果表明了代价敏感贝叶斯网络在烟叶质量感官评价中的有效性。 展开更多

关键词 贝叶斯网络 代价敏感损失 感官质量评价

下载PDF 职称材料

基于代价敏感卷积神经网络的非平衡问题混合方法 被引量：3

7

作者 黄颖琦 陈红梅 《计算机科学》 CSCD 北大核心 2021年第9期77-85,共9页

非平衡问题是数据挖掘领域中普遍存在的一个问题,数据的偏态分布会使得分类器的分类效果不理想。卷积神经网络作为一种高效的数据挖掘工具,被广泛应用于分类任务,但其训练过程若受到数据非平衡的不利影响,则将导致少数类的分类准确率下... 非平衡问题是数据挖掘领域中普遍存在的一个问题,数据的偏态分布会使得分类器的分类效果不理想。卷积神经网络作为一种高效的数据挖掘工具,被广泛应用于分类任务,但其训练过程若受到数据非平衡的不利影响,则将导致少数类的分类准确率下降。针对二分类非平衡数据分类问题,文中提出了一种基于代价敏感卷积神经网络的非平衡问题混合方法。首先将密度峰值聚类算法与SMOTE相结合,通过过采样对数据进行预处理,降低原始数据集的不平衡程度;然后利用代价敏感思想对非平衡数据中的不同类别给予不同权重,并考虑预测值与标签值之间的欧氏距离,对非平衡数据中多数类和少数类赋予不同的代价损失,构建代价敏感卷积神经网络模型,以提高卷积神经网络对少数类的识别率。选取6个不同的数据集,用于验证所提方法的有效性。实验结果表明,所提方法可以提高卷积神经网络模型对非平衡数据的分类性能。 展开更多

关键词 非平衡问题 卷积神经网络 过采样 数据预处理 代价敏感损失函数

下载PDF 职称材料

参数优选残差网络下的井震联合反演方法

8

作者 郑杰 文畅 +1 位作者 谢凯 盛冠群 《电子测量技术》 北大核心 2022年第12期168-174,共7页

声波测井资料在层位标定和储层反演等工作中发挥着重要作用。然而受仪器设备、地质环境等条件的限制,实际得到的声波测井曲线常有失真现象。为了向油气藏勘探提供可靠的数据支持,提高储层预测的准确性,提出一种参数优选残差网络下的井... 声波测井资料在层位标定和储层反演等工作中发挥着重要作用。然而受仪器设备、地质环境等条件的限制,实际得到的声波测井曲线常有失真现象。为了向油气藏勘探提供可靠的数据支持,提高储层预测的准确性,提出一种参数优选残差网络下的井震联合反演方法,对失真的声波测井曲线予以重构。考虑到传统人工神经网络无法表达出井震间的强非线性关系,该方法以深度学习中的残差网络(ResNet)构建智能反演模型,通过网络设计、参数选择以及模型训练,找到井震间更好的映射表达。同时综合考虑测井曲线的特点与均方损失的不足,设计了一种代价敏感损失函数Fusion,进一步提高模型整体的反演精度。在真实地震数据和测井资料上展开实验,并与全连接神经网络(FCNN)和多元回归分析(MLR)的反演结果对比分析,表明所提方法反演的声波测井曲线精度更高,相关系数达到0.912,均方根误差减小到13.399。将所提Fusion损失用于反演声波测井曲线,相关系数增加了2.5%,均方根误差减小了17.4%。 展开更多

关键词 井震联合反演 声波测井资料 代价敏感损失函数 残差网络 智能反演模型

下载PDF 职称材料

密集卷积神经网络和辅助特征相结合的乳腺组织病理图像有丝分裂检测方法 被引量：1

9

作者 段慧芳 刘娟 《武汉大学学报（理学版）》 CAS CSCD 北大核心 2019年第5期434-440,共7页

显微镜下特定大小视野范围内的平均有丝分裂个数是乳腺癌分级的一个重要指标。传统的人工检测方法耗时费力,结果受病理医生主观因素影响大,容易出错。本文提出将密集卷积神经网络(DenseNet)与辅助特征相结合,构建预测模型,以实现有丝分... 显微镜下特定大小视野范围内的平均有丝分裂个数是乳腺癌分级的一个重要指标。传统的人工检测方法耗时费力,结果受病理医生主观因素影响大,容易出错。本文提出将密集卷积神经网络(DenseNet)与辅助特征相结合,构建预测模型,以实现有丝分裂的自动检测。本文方法针对训练过程中正负样本严重不均衡问题,使用代价敏感损失函数缓解该问题。利用本文方法与其他算法对乳腺组织病理图像有丝分裂进行检测,实验结果表明,本文方法在独立测试集上的F分数为0. 801 9,高于其他方法,验证了其有效性。 展开更多

关键词 乳腺癌分级 有丝分裂检测 密集卷积神经网络 代价敏感损失函数

原文传递

基于注意力和代价敏感的软件缺陷预测方法

10

作者 毛敬恩 周世健 +1 位作者 章树卿 樊鑫 《计算机测量与控制》 2024年第9期94-100,共7页

软件缺陷预测的目的是预先识别容易出现缺陷的代码模块以帮助软件质量保障团队适当的分配资源和人力;当前基于稳定学习的软件缺陷预测方法在特征提取过程中缺乏代码图像的全局信息,并忽视了不平衡数据对模型性能的影响;为了解决上述问题... 软件缺陷预测的目的是预先识别容易出现缺陷的代码模块以帮助软件质量保障团队适当的分配资源和人力;当前基于稳定学习的软件缺陷预测方法在特征提取过程中缺乏代码图像的全局信息,并忽视了不平衡数据对模型性能的影响;为了解决上述问题,文章提出了一种基于注意力和代价敏感的软件缺陷预测方法;该方法在SDP-SL的神经网络中增加了全局注意力模块,重点关注图像中和缺陷代码相关的特征,并将分类器的损失函数改进为代价敏感的损失函数,降低类不平衡对模型性能的影响;为了评估SDP-SLAC的性能,在PROMISE数据库中的10个开源Java项目上进行了多组比较实验;实验结果表明,SDP-SLAC方法可以有效提升缺陷预测模型的性能。 展开更多

关键词 软件缺陷预测 全局注意力 代价敏感 类不平衡 损失函数

下载PDF 职称材料

采用多类代价指数损失函数的代价敏感AdaBoost算法 被引量：2

11

作者 翟夕阳 王晓丹 +1 位作者 李睿 贾琪 《西安交通大学学报》 EI CAS CSCD 北大核心 2017年第8期33-39,共7页

为解决由多个二类代价敏感算法扩展而成的多类算法存在时间复杂度高和不能区分错分代价的问题,提出一种采用多类代价指数损失函数的多类代价敏感AdaBoost算法(MCCSADA)。为保证算法的代价敏感特性,首先设计一种满足代价敏感损失函数设... 为解决由多个二类代价敏感算法扩展而成的多类算法存在时间复杂度高和不能区分错分代价的问题,提出一种采用多类代价指数损失函数的多类代价敏感AdaBoost算法(MCCSADA)。为保证算法的代价敏感特性,首先设计一种满足代价敏感损失函数设计准则的多类代价敏感指数损失函数;然后将此损失函数作为评价分类器性能的标准,以最小化损失函数为目的使用逐步叠加模型推导算法的最优基分类器加权系数;最后使用多类代价损失函数和最优基分类器加权系数求解公式替换多类AdaBoost算法的损失数和加权系数求解公式,得到代价敏感的MCCSADA算法。使用UCI数据集对算法进行验证,实验结果表明:算法的稳定性得到了提升,退化现象被减弱;相比于由两类代价敏感算法通过一对一方法扩展而来的多类代价敏感算法,MCCSADA算法在大多数情况下能够取得更低的代价,而且具有较低的时间复杂度,在3类数据集上的时间复杂度降低约40%,并且随着类别数的增多效率提升更加明显。 展开更多

关键词 代价敏感 ADABOOST算法 多分类 贝叶斯决策 损失函数

下载PDF 职称材料