多分类问题代价敏感AdaBoost算法 被引量：31

1

作者 付忠良 《自动化学报》 EI CSCD 北大核心 2011年第8期973-983,共11页

针对目前多分类代价敏感分类问题在转换成二分类代价敏感分类问题存在的代价合并问题,研究并构造出了可直接应用于多分类问题的代价敏感AdaBoost算法.算法具有与连续AdaBoost算法类似的流程和误差估计.当代价完全相等时,该算法就变成了... 针对目前多分类代价敏感分类问题在转换成二分类代价敏感分类问题存在的代价合并问题,研究并构造出了可直接应用于多分类问题的代价敏感AdaBoost算法.算法具有与连续AdaBoost算法类似的流程和误差估计.当代价完全相等时,该算法就变成了一种新的多分类的连续AdaBoost算法,算法能够确保训练错误率随着训练的分类器的个数增加而降低,但不直接要求各个分类器相互独立条件,或者说独立性条件可以通过算法规则来保证,但现有多分类连续AdaBoost算法的推导必须要求各个分类器相互独立.实验数据表明,算法可以真正实现分类结果偏向错分代价较小的类,特别当每一类被错分成其他类的代价不平衡但平均代价相等时,目前已有的多分类代价敏感学习算法会失效,但新方法仍然能实现最小的错分代价.研究方法为进一步研究集成学习算法提供了一种新的思路,得到了一种易操作并近似满足分类错误率最小的多标签分类问题的AdaBoost算法. 展开更多

关键词 代价敏感学习 多分类问题 多标签分类问题 连续ADABOOST 代价敏感分类

下载PDF 职称材料

球结构支持向量机的改进算法及仿真研究 被引量：18

2

作者 吴强 贾传荧 +1 位作者 张爱锋 刘爽 《系统仿真学报》 EI CAS CSCD 北大核心 2008年第2期345-348,共4页

球结构支持向量机算法将多类样本数据的每一类用各自的超球来界定,从而显著地降低了二次规划的复杂程度。在该算法的基础上,提出了子超球支持向量机多分类算法。新算法改进了超球重叠区域的训练和决策方法,提高了多分类问题的分类精度... 球结构支持向量机算法将多类样本数据的每一类用各自的超球来界定,从而显著地降低了二次规划的复杂程度。在该算法的基础上,提出了子超球支持向量机多分类算法。新算法改进了超球重叠区域的训练和决策方法,提高了多分类问题的分类精度。定义了重叠频数、重叠总频数和重叠率等概念,并在此基础上分析了径向基核函数的参数σ对超球相互位置的影响。对两组实际数据仿真实验验证了该算法的有效性和对σ分析的正确性,同时表明正确选择σ可得到较高的分类精度。 展开更多

关键词 球结构支持向量机 多分类问题 超球 核参数

下载PDF 职称材料

一种基于有向无环图的多类SVM分类器 被引量：12

3

作者 李昆仑 黄厚宽 田盛丰 《模式识别与人工智能》 EI CSCD 北大核心 2003年第2期164-168,共5页

本文提出了一种多类SVM分类器——ACDMSVM,它是基于决策有向无环图和积极约束的多类SVM分类器。对于k类问题,它将k(k-1)/2个改进的二类SVM分类器进行组合。为了提高分类器的训练及决策速度,对标准的二类SVM分类器进行三个方面的改进:利... 本文提出了一种多类SVM分类器——ACDMSVM,它是基于决策有向无环图和积极约束的多类SVM分类器。对于k类问题,它将k(k-1)/2个改进的二类SVM分类器进行组合。为了提高分类器的训练及决策速度,对标准的二类SVM分类器进行三个方面的改进:利用大间隔方法,对软间隔错误变量采用2-范数形式并应用积极约束。在训练阶段,使用含有根的二元有向无环图进行节点的选择,该有向无环图含k(k-1)/2个内部节点和k个叶节点。数值实验表明这是一种快速的多类SVM分类器。 展开更多

关键词 机器学习 支持向量机 有向无环图 ACDMSVM 多类SVM分类器

原文传递

基于多目标数学规划的网络入侵检测方法 被引量：15

4

作者 汪波 聂晓伟 《计算机研究与发展》 EI CSCD 北大核心 2015年第10期2239-2246,共8页

多分类模型常用于解决诸如信用卡客户分析和疾病诊断预测等具有多类情况的现实问题.网络安全中的攻击形式有很多种,这为多分类问题的研究成果提供了很好的应用背景.事实上,如果把建立防火墙来拦截网络攻击看作被动的防御,人们更希望通... 多分类模型常用于解决诸如信用卡客户分析和疾病诊断预测等具有多类情况的现实问题.网络安全中的攻击形式有很多种,这为多分类问题的研究成果提供了很好的应用背景.事实上,如果把建立防火墙来拦截网络攻击看作被动的防御,人们更希望通过借助对网络攻击者行为的分析去进行主动的防御.借助数据挖掘中解决分类问题的基本思想,提出了用多目标数学规划(multi-criteria mathematical programming,MCMP)模型分析多类网络攻击行为的方法.与直接寻找凸规划问题最优解方法不同,该方法通过对相关矩阵的直接运算寻找最优解,大大降低了问题求解的难度.进一步,运用e-支持向量的概念,可以实现对大规模应用问题的计算.同时,使用了核技巧来解决非线性可分的问题.基于一个新近已知的NSL-KDD网络入侵数据集,通过数值实验证实了所提模型可以有效解决网络入侵中的多分类问题,同时达到较高的分类精度和较低的错误报警率. 展开更多

关键词 网络入侵检测 多分类问题 多目标数学规划 e-支持向量 错误报警率

下载PDF 职称材料

多标签AdaBoost算法的改进算法 被引量：6

5

作者 付忠良 张丹普 王莉莉 《四川大学学报（工程科学版）》 EI CAS CSCD 北大核心 2015年第5期103-109,共7页

针对多标签AdaBoost系列算法,以尽量减小算法的学习错误率为目的,提出了对其进行改进的2种思路。基于改进思路构造出了改进的多标签AdaBoost算法。一种思路是修改算法的样本分布调整策略,破坏现有AdaBoost算法中样本分布的均匀性,以确... 针对多标签AdaBoost系列算法,以尽量减小算法的学习错误率为目的,提出了对其进行改进的2种思路。基于改进思路构造出了改进的多标签AdaBoost算法。一种思路是修改算法的样本分布调整策略,破坏现有AdaBoost算法中样本分布的均匀性,以确保增加每一个弱分类器都能降低学习错误的上界估计,从而实现对多标签AdaBoost算法的改进;另一种思路是训练弱分类器时兼顾后续待学习的弱分类器对学习错误的影响,克服现有算法在训练弱分类器时只考虑当前弱分类器对学习错误的影响,而完全忽略后续待学习的弱分类器对学习错误的影响这一现象,从而改进多标签AdaBoost算法。理论上,对于改进多标签AdaBoost算法,增加每一个弱分类器都能进一步降低学习错误。理论分析和实验结果均表明了提出的改进算法有改进效果。 展开更多

关键词 集成学习 多标签分类 REAL ADABOOST算法 多分类问题 分类器组合

下载PDF 职称材料

ELMs和SVMs在多分类问题上的泛化性能比较 被引量：5

6

作者 卢欣欣 潘丽平 《计算机应用与软件》 北大核心 2019年第10期262-267,278,共7页

多分类问题是机器学习、数据挖掘领域的重要研究内容。在文本分类、语音识别、图像识别、基因检测等方面有广泛的应用。通过在UCI数据集对极限学习机算法ELMs(ELM,KELM)和支持向量机算法SVMs(SVM,LSSVM)在多分类问题上的表现进行详细比... 多分类问题是机器学习、数据挖掘领域的重要研究内容。在文本分类、语音识别、图像识别、基因检测等方面有广泛的应用。通过在UCI数据集对极限学习机算法ELMs(ELM,KELM)和支持向量机算法SVMs(SVM,LSSVM)在多分类问题上的表现进行详细比较,得出以下结论:ELMs相较于SVM在多分类问题上有更高的分类准确率,而且随着分类数目的增加,ELMs的泛化能力相较于SVM提高越多,但是ELMs对于LSSVM并没有得到上述结论;ELMs相较于SVMs对数据的类别数目不敏感,分类准确率随类别数目增加下降不明显;ELMs相较于SVMs在多分类问题上所需计算代价更小,且拥有更快的学习和训练速度,适用于多分类问题。 展开更多

关键词 极限学习机(ELM) 核极限学习机(KELM) 支持向量机(SVM) 最小二乘支持向量机(LSSVM) 多分类问题 泛化能力

下载PDF 职称材料

基于能量的结构化最小二乘孪生支持向量机 被引量：4

7

作者 史颂辉 丁世飞 《智能系统学报》 CSCD 北大核心 2020年第5期1013-1019,共7页

针对最小二乘孪生支持向量机对噪声和离群值非常敏感的问题,本文提出了一种基于能量的结构化最小二乘孪生支持向量机。首先对每个类进行聚类分析,然后计算类中各个簇的协方差矩阵并将其引入到目标函数中。其次,为了降低噪声和离群值对... 针对最小二乘孪生支持向量机对噪声和离群值非常敏感的问题,本文提出了一种基于能量的结构化最小二乘孪生支持向量机。首先对每个类进行聚类分析,然后计算类中各个簇的协方差矩阵并将其引入到目标函数中。其次,为了降低噪声和离群值对算法的影响,本文为每个超平面引入能量因子,在最小二乘的基础上将等式约束转换为基于能量的形式。最后采用“多对一”的策略将提出的算法用于处理多分类问题。研究结果表明:本文提出的基于能量的结构化最小二乘孪生支持向量机具有良好的分类性能。 展开更多

关键词 孪生支持向量机 最小二乘 结构信息 聚类 协方差矩阵 能量因子 “多对一”策略 多分类问题

下载PDF 职称材料

分类器动态组合及基于分类器组合的集成学习算法 被引量：3

8

作者 付忠良 赵向辉 《四川大学学报（工程科学版）》 EI CAS CSCD 北大核心 2011年第2期58-65,共8页

针对目前基于分类器静态组合的集成学习算法难于推广的问题,根据组合分类器分类错误最小化原则,研究了组合系数随分类器输出变化而变化的分类器动态组合理论,包括组合系数的选取、组合分类器分类错误率的估计等。证明了在分类器相互独立... 针对目前基于分类器静态组合的集成学习算法难于推广的问题,根据组合分类器分类错误最小化原则,研究了组合系数随分类器输出变化而变化的分类器动态组合理论,包括组合系数的选取、组合分类器分类错误率的估计等。证明了在分类器相互独立时,一些动态组合分类器等价于Bayes统计推断。提出了基于分类器组合的通用集成学习算法,并把AdaBoost、Real AdaBoost、Gentle AdaBoost算法推广到了多分类问题。证明了按照集成学习算法得到的分类器,其动态组合的有效性可不依赖于分类器的独立性,这支撑了基于分类器相互独立假设来研究分类器组合的有用性。最后,通过UCI数据实验验证了动态组合的有效性。 展开更多

关键词 分类器动态组合 集成学习 多分类问题 ADABOOST

下载PDF 职称材料

图像多分类主动学习方法 被引量：2

9

作者 刘君 熊忠阳 王银辉 《计算机工程与应用》 CSCD 北大核心 2010年第13期11-14,27,共5页

以决策速度快的决策导向非循环图支持向量机(Decision DirectedAcyclic Graph Support Vector Machine)为基准分类器,结合主动学习的思想,提出了一种图像多分类主动学习方法。这种方法是一种半自动的图像语义分类方法,可以将图像分成多... 以决策速度快的决策导向非循环图支持向量机(Decision DirectedAcyclic Graph Support Vector Machine)为基准分类器,结合主动学习的思想,提出了一种图像多分类主动学习方法。这种方法是一种半自动的图像语义分类方法,可以将图像分成多个语义类别。该方法在最近边界主动选择方法的基础上,提出一种基于质疑度的主动选择策略。这种策略将SVMactive中提出的最近邻SVM分类面选择的反馈样例策略延伸到多分类中,通过区别对待奇异样例和容易错分样例,减少了噪声数据对分类器的干扰,提高了分类的精度。 展开更多

关键词 支持向量机 多分类 决策导向非循环图 主动学习

下载PDF 职称材料

基于自适应阈值PCA的多目标人脸识别方法研究 被引量：1

10

作者 郝刚 梁鹏 《信息技术与网络安全》 2018年第9期49-51,共3页

为有效解决人脸识别中多类分类问题,提出一种基于自适应阈值PCA的多目标人脸识别方法,该方法基于PCA原理,将多目标分类问题转化为多个二分类问题,利用ROC曲线确定单个二分类器的最佳阈值,测试样本的识别结果由所有二分类器投票产生。在... 为有效解决人脸识别中多类分类问题,提出一种基于自适应阈值PCA的多目标人脸识别方法,该方法基于PCA原理,将多目标分类问题转化为多个二分类问题,利用ROC曲线确定单个二分类器的最佳阈值,测试样本的识别结果由所有二分类器投票产生。在ORL人脸库上的实验表明,与传统PCA的多目标人脸识别方法相比较,本文算法的识别率可提升3. 3%左右,汉明损失可降低0. 007 9左右。 展开更多

关键词 人脸识别 ROC曲线 主成分分析 多类分类问题

下载PDF 职称材料

基于可靠性测度的多类支持向量机

11

作者 李娜 范丽亚 高希占 《聊城大学学报（自然科学版）》 2014年第1期13-16,共4页

多类分类问题是我们经常遇到的问题,常用的方法是将多类问题转化为若干个二类问题,然后利用二类支持向量机(support vector machine,SVM)进行分类,如一对余SVM,一对一SVM,决策树SVM等.在这些方法中,大都没有考虑所生成的多个分类器之间... 多类分类问题是我们经常遇到的问题,常用的方法是将多类问题转化为若干个二类问题,然后利用二类支持向量机(support vector machine,SVM)进行分类,如一对余SVM,一对一SVM,决策树SVM等.在这些方法中,大都没有考虑所生成的多个分类器之间的可靠性和重要性问题.为了改进这一点,本文以一对余SVM为例,提出了两种基于可靠性测度的多类分类算法,算法的思想可用于一对一SVM,决策树SVM等其他多种分类器中.为了检验所提算法的有效性,本文进行了比较试验,实验结果表明所提算法不仅提高了分类准确度,而且具有更为广泛的推广能力. 展开更多

关键词 多类支持向量机 多类分类问题 可靠性测度 一对余支持向量机

下载PDF 职称材料

机动目标声信号分类识别技术

12

作者 张丹 张晓灿 《电声技术》 2021年第2期28-31,共4页

针对机动目标声信号识别问题,对比三种分类方法的性能。在固定输入特征向量的前提下,将多分类问题细化为多个二分类问题,并分别训练二分类模型,通过投票的方式决策出目标类型。试验结果显示,支持向量机(Support Vector Machine,SVM)方... 针对机动目标声信号识别问题,对比三种分类方法的性能。在固定输入特征向量的前提下,将多分类问题细化为多个二分类问题,并分别训练二分类模型,通过投票的方式决策出目标类型。试验结果显示,支持向量机(Support Vector Machine,SVM)方法的准确率受样本数量影响较为明显,在样本数量充足的情况下,基于SVM构建的识别模型对目标的分类准确率均高于95%。 展开更多

关键词 声目标识别 多分类问题 识别模型

下载PDF 职称材料

广义特征值多类分类算法

13

作者 阳红英 杨志霞 《计算机工程与应用》 CSCD 2014年第8期154-157,共4页

提出了一个新的多类分类算法,该算法的目标是寻找M个相互不平行的超平面,使得第m(m=12M)类的各点到第m个超平面的距离之和尽可能小,而其余类的所有点到该超平面的距离之和尽可能大。基于这个思想,寻求第m个超平面的优化模型最... 提出了一个新的多类分类算法,该算法的目标是寻找M个相互不平行的超平面,使得第m(m=12M)类的各点到第m个超平面的距离之和尽可能小,而其余类的所有点到该超平面的距离之和尽可能大。基于这个思想,寻求第m个超平面的优化模型最终可转化为一个广义特征值问题。该方法编程简单,易于实现。在数值试验部分,该算法与一些经典的基于支持向量机的多类分类算法进行比较,表明了该算法的优越性。 展开更多

关键词 多类分类问题 广义特征值 支持向量机

下载PDF 职称材料

DMCS:一种新的多分类器系统模型

14

作者 黄江涛 元昌安 廖伟志 《计算机与数字工程》 2013年第6期911-913,983,共4页

论文提出了一种新的多分类器系统模型,该模型通过定义两个基本分类器实时性能指标———实时决策支持度和实时决策置信度,在多分类器系统基础上构建临时的动态子系统,然后由该子系统代替初始多分类器系统来完成融合决策。动态子多分类... 论文提出了一种新的多分类器系统模型,该模型通过定义两个基本分类器实时性能指标———实时决策支持度和实时决策置信度,在多分类器系统基础上构建临时的动态子系统,然后由该子系统代替初始多分类器系统来完成融合决策。动态子多分类器系统模型是一种不同于传统动态分类器选择和分类器联合方法的新模型,其能够更有效地排除不稳定基本分类器对多分类器系统融合决策性能的影响。试验表明该模型在模式识别性能上能够获得较好的性能,鲁棒性和可靠性比基本分类器和传统多分类器系统方法更强。 展开更多

关键词 分类器联合 多分类问题 模式识别 动态权重 实时决策支持度 实时决策置信度

下载PDF 职称材料

支持向量机在血细胞分类中的应用 被引量：14

15

作者 王浩军 郑崇勋 +2 位作者 李映 朱华锋 闫相国 《生物医学工程学杂志》 EI CAS CSCD 2003年第3期484-487,共4页

支持向量机是根据统计理论提出的一种新的学习算法。该算法通常可用于解决二分类问题 ,本文将其推广到多分类问题 ,利用多级支持向量机分类器对骨髓中不同成熟阶段的血细胞进行了分类。文中首先提出了利用逐步分解的分级聚类算法进行多... 支持向量机是根据统计理论提出的一种新的学习算法。该算法通常可用于解决二分类问题 ,本文将其推广到多分类问题 ,利用多级支持向量机分类器对骨髓中不同成熟阶段的血细胞进行了分类。文中首先提出了利用逐步分解的分级聚类算法进行多级支持向量机的构建 ,然后通过一定准则在各级中确定支持向量机相应的最优控制参数。为了进一步了解分类性能和较好的估计分类错误率 ,使用 3次交叉验证法将其与传统的分类方法作了比较。实验表明 ,支持向量机分类器巧妙避开了维数灾难问题 ,具有较好的推广能力 ,可提高血细胞分类的正确率。 展开更多

关键词 支持向量机 血细胞 分类 最优控制参数 诊断

下载PDF 职称材料

用于多分类问题的最小二乘支持向量分类—回归机 被引量：2

16

作者 翟嘉 胡毅庆 徐尔 《计算机应用》 CSCD 北大核心 2013年第7期1894-1897,1911,共5页

基于支持向量机(SVM)的三分类方法是处理多分类问题的一类方法。提出了最小二乘支持向量分类回归机(LSSVCR)算法,通过最小二乘目标函数充分考虑所有样本点对分类的影响,使得训练集中即使有个别样本点被标错类别,对分类结果也不会产生太... 基于支持向量机(SVM)的三分类方法是处理多分类问题的一类方法。提出了最小二乘支持向量分类回归机(LSSVCR)算法,通过最小二乘目标函数充分考虑所有样本点对分类的影响,使得训练集中即使有个别样本点被标错类别,对分类结果也不会产生太大的影响,从而提高分类的准确性。该方法能够提高分类的准确率和分类速度,同时算法对于不同类别间样本数目差异较大的情况也有很好的分类效果。数值实验结果表明所提算法是可行的,且与已有的三分类算法相比在分类准确性上平均提高了2.57%,在运算速度上也有了较大的提高。 展开更多

关键词 多分类问题 三分类问题 最小二乘支持向量机 分类-回归机 一对一对多方法

下载PDF 职称材料