为了提升故障诊断模型在数据不平衡场景下的性能,提出一种基于贝叶斯优化的自动不平衡故障诊断方法。首先,构建了一种分层多模型的参数空间,探索重采样和分类器的算法组合选择和超参数优化;然后,使用基于树形结构Parzen估计器(TPE)的贝...为了提升故障诊断模型在数据不平衡场景下的性能,提出一种基于贝叶斯优化的自动不平衡故障诊断方法。首先,构建了一种分层多模型的参数空间,探索重采样和分类器的算法组合选择和超参数优化;然后,使用基于树形结构Parzen估计器(TPE)的贝叶斯优化器进行模型的训练与优化,得到参数空间中最优的算法组合和超参数配置;最后使用最优配置模型在测试集上进行结果评估。将所提方法应用于UCI(university of California Irvine)不平衡标准数据集和滚动轴承数据集。实验通过设置多个不平衡比,对优化后的模型分类效果进行检验,并与传统的随机搜索方法进行对比。结果表明,所提方法更好地提升了模型在不平衡故障数据上的分类能力,且优化过程更加高效。展开更多
人工神经网络的自适应结构学习(AdaNet)是基于Boosting集成学习的神经结构搜索框架,可通过集成子网创建高质量的模型。现有的AdaNet所产生的子网之间的差异性不显著,因而限制了集成学习中泛化误差的降低。在AdaNet设置子网网络权重和集...人工神经网络的自适应结构学习(AdaNet)是基于Boosting集成学习的神经结构搜索框架,可通过集成子网创建高质量的模型。现有的AdaNet所产生的子网之间的差异性不显著,因而限制了集成学习中泛化误差的降低。在AdaNet设置子网网络权重和集成子网的两个步骤中,使用Adagrad、RMSProp、Adam、RAdam等自适应学习率方法来改进现有AdaNet中的优化算法。改进后的优化算法能够为不同维度参数提供不同程度的学习率缩放,得到更分散的权重分布,以增加AdaNet产生子网的多样性,从而降低集成学习的泛化误差。实验结果表明,在MNIST(Mixed National Institute of Standards and Technology database)、Fashion-MNIST、带高斯噪声的Fashion-MNIST这三个数据集上,改进后的优化算法能提升AdaNet的搜索速度,而且该方法产生的更加多样性的子网能提升集成模型的性能。在F1值这一评估模型性能的指标上,改进后的方法相较于原方法,在三种数据集上的最大提升幅度分别为0.28%、1.05%和1.10%。展开更多
文摘为了提升故障诊断模型在数据不平衡场景下的性能,提出一种基于贝叶斯优化的自动不平衡故障诊断方法。首先,构建了一种分层多模型的参数空间,探索重采样和分类器的算法组合选择和超参数优化;然后,使用基于树形结构Parzen估计器(TPE)的贝叶斯优化器进行模型的训练与优化,得到参数空间中最优的算法组合和超参数配置;最后使用最优配置模型在测试集上进行结果评估。将所提方法应用于UCI(university of California Irvine)不平衡标准数据集和滚动轴承数据集。实验通过设置多个不平衡比,对优化后的模型分类效果进行检验,并与传统的随机搜索方法进行对比。结果表明,所提方法更好地提升了模型在不平衡故障数据上的分类能力,且优化过程更加高效。
文摘为了比较自动机器学习下不同机器学习模型预测部分猪生长性状与全基因组估计育种值(genomic estimated breeding value,GEBV)的性能,并寻找适合的机器学习模型,以优化生猪育种的全基因组评估方法,本研究利用来自多个公司9968头猪的基因组信息、系谱矩阵、固定效应及表型信息通过自动机器学习方法获取深度学习(deep learning,DL)、随机森林(random forest,RF)、梯度提升机(gradient boosting machine,GBM)和极致梯度提升(extreme gradient boosting,XGB)4种机器学习最佳模型。采用10折交叉验证分别对猪达100 kg校正背膘(correcting backfat to 100 kg,B100)、达115 kg校正背膘(correcting backfat to 115 kg,B115)、达100 kg校正日龄(correcting days to 100 kg,D100)、达115 kg校正日龄(correcting days to 100 kg,D115)的GEBV及其表型进行预测,比较不同机器学习模型应用于猪基因组评估的性能。结果表明:机器学习模型对GEBV的估计准确性高于性状表型;在GEBV预测中,GBM在B100、B115、D100、D115的预测准确性分别为0.683、0.710、0.866、0.871,略高于其他方法;在表型预测中,对猪B100、B115、D100、D115预测性能最好的模型依次为GBM(0.547)、DL(0.547)、XGB(0.672、0.670);在模型训练所需时间上,RF远高于其他3种模型,GBM与DL居中,XGB所需时间最少。综上所述,通过自动机器学习获取的机器学习模型对GEBV预测的准确性高于表型;GBM模型总体上表现出最高的预测准确性与较短训练时间;XGB能够利用最短的时间训练准确性较高的预测模型;RF模型的训练时间远超其他3种模型,且准确性不足,不适用猪生长性状表型与GEBV预测。
文摘人工神经网络的自适应结构学习(AdaNet)是基于Boosting集成学习的神经结构搜索框架,可通过集成子网创建高质量的模型。现有的AdaNet所产生的子网之间的差异性不显著,因而限制了集成学习中泛化误差的降低。在AdaNet设置子网网络权重和集成子网的两个步骤中,使用Adagrad、RMSProp、Adam、RAdam等自适应学习率方法来改进现有AdaNet中的优化算法。改进后的优化算法能够为不同维度参数提供不同程度的学习率缩放,得到更分散的权重分布,以增加AdaNet产生子网的多样性,从而降低集成学习的泛化误差。实验结果表明,在MNIST(Mixed National Institute of Standards and Technology database)、Fashion-MNIST、带高斯噪声的Fashion-MNIST这三个数据集上,改进后的优化算法能提升AdaNet的搜索速度,而且该方法产生的更加多样性的子网能提升集成模型的性能。在F1值这一评估模型性能的指标上,改进后的方法相较于原方法,在三种数据集上的最大提升幅度分别为0.28%、1.05%和1.10%。
