摘要
针对传统深度学习算法在样本不足时易出现过拟合的问题,提出了一类新的小样本深度学习模型:UGES反向传导模型。其基本思路是:在保留深层结构的同时,压缩需要学习参数的数量。作为一种与误差反向传导算法相容的间接编码模型,该算法对权值的随机分布特性进行重新编码,打破了不同隐含层之间的隔阂,并使用变分贝叶斯学习对网络进行全局训练。新模型的参数数目不再与输入变量维数及网络结构大小相关,同时强迫权值对于一定程度的扰动具有鲁棒性。最后,将所提出的算法用于外包软件项目风险识别这一典型的多维小样本问题中。对比实验表明,该模型达到了93.3%的样本外准确率,不仅保留了深度模型非线性表达能力,亦具备了小样本下优秀的泛化能力。
Original deep neural networks are prone to over-fit when the size of training examples To address this problem, a new efficient deep machine learning algorithm is proposed for small learning. The basic idea is to compress the number of parameters tO be learned while retaining structure. To achieve this, a back-prop compatible encoding scheme （i. e. UGES Back-prop is small. sample the deep ） is pro-
出处
《黑龙江大学自然科学学报》
CAS
北大核心
2015年第6期831-840,共10页
Journal of Natural Science of Heilongjiang University
基金
国家自然科学基金资助项目(71271061
70801020)
广东省大学生科技创新培育专项资金重点资助项目(308-GK151011)
广东省自然科学基金资助项目(2014A030313575)
广东省哲学社会科学"十二五"规划项目(GD12XGL14)
广东省公益研究与能力建设之软科学项目(2015A070704051)
广东省教育厅科技创新基金资助项目(2013KJCX0072)
广州市哲学社会科学发展"十二五"规划共建课题项目(14G41)
2014年国家级大学生创新训练计划项目(201411846001)
广东外语外贸大学教学研究重点A类项目(GYJYZDA14002)
关键词
深度机器学习
不确定性间接编码
变分贝叶斯学习
小样本问题
外包软件项目风险识别
deep machine learning
uncertainty generative encoding
varational bayesian learning
small sample learning problems
risk prediction of outsourcing software projects
