-
题名面向超参数估计的贝叶斯优化方法综述
被引量：40
- 1
-
-
作者
李亚茹
张宇来
王佳晨
-
机构
浙江科技学院信息与电子工程学院
-
出处
《计算机科学》
CSCD
北大核心
2022年第S01期86-92,共7页
-
基金
国家自然科学基金青年科学基金(61803337)。
-
文摘
对绝大部分机器学习模型而言,超参数选择对模型的最终效果起到了至关重要的作用,所以超参数的选择与估计是机器学习理论与实践中的重要问题。从超参数空间中的点到模型泛化性能的映射可以看作一个具有高评估代价的复杂黑箱函数,一般的最优化方法难以适用。贝叶斯优化是一种非常有效的全局优化算法,适合求解具有解析式不明确、非凸、评估成本高等特点的优化问题,只需较少的目标函数评估就可以获得理想解。总结了贝叶斯优化在超参数估计问题上的基本理论和方法,综述了近年来该方向的研究热点和最新进展,包括代理模型、采集函数、算法实施等方面的研究,总结了现有的研究中尚待解决的问题,期望帮助初学者快速了解贝叶斯优化算法并理解典型的算法思想,为其之后的研究起到一定的指导作用。
-
关键词
超参数
贝叶斯优化
黑箱优化
概率代理模型
机器学习
-
Keywords
Hyper-parameters
Bayesian optimization
Black box optimization
Probabilistic surrogate model
Machine learning
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
O212
[自动化与计算机技术—控制科学与工程]
-
-
题名大规模黑箱优化问题元启发式求解方法研究进展
被引量：8
- 2
-
-
作者
江璞玉
刘均
周奇
程远胜
-
机构
华中科技大学船舶与海洋工程学院
华中科技大学航空航天学院
-
出处
《中国舰船研究》
CSCD
北大核心
2021年第4期1-18,共18页
-
文摘
大型复杂工程装备的优化设计通常为高复杂度、高维度的优化问题,即所谓的大规模黑箱优化问题,其特点是目标函数和/或约束函数解析式不可知且设计变量维度很高。近年来,大规模黑箱优化问题在各领域引起了学者们的兴趣,而元启发式算法被认为是求解该问题的有效方法。为此,全面总结了近年来求解该问题的元启发式算法的研究进展,包括使用与不使用分解策略的元启发式算法,以及处理大规模昂贵优化问题的代理模型辅助元启发式算法,并指出了针对此问题的元启发式求解方法未来可能的研究方向。
-
关键词
大规模优化
黑箱优化
元启发式算法
代理模型辅助优化
-
Keywords
large-scale optimization
black-box optimization
meta-heuristic algorithms
surrogate-assisted optimization
-
分类号
U662.9
[交通运输工程—船舶及航道工程]
-
-
题名基于协同过滤的连续黑箱优化问题元启发算法选择
被引量：3
- 3
-
-
作者
张永韡
汪镭
-
机构
江苏科技大学电子与信息学院
同济大学电子与信息工程学院
-
出处
《控制与决策》
EI
CSCD
北大核心
2020年第6期1297-1306,共10页
-
基金
国家自然科学基金项目(71371142,71771176)
江苏政府海外留学奖学金项目(JS-2015-200)
镇江市软科学基金项目(2225031701)。
-
文摘
算法选择(AS)问题旨在为给定问题在算法集合中选择最佳算法.随着优化算法的不断提出,算法选择问题是优化领域亟待解决的问题.提出基于聚类的元启发算法五星评价体系,将算法性能指标映射至整数评价以减小评价空间.通过测试24种常见优化算法与4种最新CEC大赛优胜算法在219种、3 000多个标准测试问题上的性能,得到评价矩阵.将评价矩阵作为训练数据,使用协同过滤(CF)算法建立算法评价的预测模型.使用该模型预测算法集内的所有算法在新问题上的评价,结果显示所提出方法预测精度较高,超过90%的预测最佳算法为最终可行算法.敏感性分析显示,该方法在先验信息有限的情况下仍可以保持较高的预测精度.
-
关键词
算法选择
连续优化
黑箱优化
协同过滤
元启发
推荐系统
-
Keywords
algorithm selection
continuous optimization
black-box optimization
collaborative filtering
metaheuristics
recommendation system
-
分类号
TP399
[自动化与计算机技术—计算机应用技术]
-
-
题名黑箱优化导向的序贯均匀设计
- 4
-
-
作者
覃红
肖遥
宁建辉
-
机构
中南财经政法大学统计与数学学院
华中师范大学数学与统计学学院
-
出处
《数理统计与管理》
CSSCI
北大核心
2022年第6期989-1002,共14页
-
基金
国家自然科学基金项目(11571133,11871237)
中南财经政法大学学科统筹建设项目(XKHJ202125)
+1 种基金
中南财经政法大学中央高校基本科研业务费专项资金(202111306)
华中师范大学中央高校自主科研基金(CCNU22JC023)。
-
文摘
在试验设计中,序贯均匀设计(sequential uniform design)是一种基于区域压缩思想的序贯空间填充设计,又可称为序贯数论优化方法(简记为SNTO),常被实际工作者用来寻求黑箱优化问题的全局最优值。该算法的核心思想是在每阶段的压缩子区域内迭代散布低偏差序列,如数论格子点(number-theoretic net),均匀设计(uniform design)等。原始的SNTO算法存在两个缺点:1)它是一种纯粹的区域压缩搜索算法,搜索过程中未使用任何统计代理模型信息,只关注试验点本身的信息;2)迭代过程中,非最优试验点的信息被完全丢弃,未被充分利用。本文引入序贯自适应试验设计思想,帮助SNTO算法更好的确定区域压缩中心,并称改进后的算法为EI-SNTO方法。该算法通过建立高斯过程代理模型,采用期望提高准则(expected Improvement,EI)和重要性抽样来帮助选择和更新试验点。一些经典的优化检验函数模拟结果验证了EI-SNTO算法的优化性能,同时本文还展示了该算法在机器学习模型(包括支持向量机和人工神经网络)超参数优化中的优良表现。
-
关键词
序贯均匀设计
黑箱优化
期望提高准则
超参数优化
-
Keywords
sequential uniform design
black-box optimization
expected improvement
hyperparameter optimization
-
分类号
O212
[理学—概率论与数理统计]
-
-
题名1000MW汽轮发电机组基础的动力优化设计
被引量：2
- 5
-
-
作者
周建军
王希城
严乐
-
机构
华北电力设计院工程有限公司
大连理工大学
-
出处
《桂林理工大学学报》
CAS
北大核心
2012年第3期326-330,共5页
-
文摘
基于最新优化设计技术,对福建石狮鸿山热电厂新建2×1 000 MW机组工程汽轮发电机基础进行了动力优化。汽轮发电机基础优化推荐方案最大振幅11.14μm,比原型基础减小约6.7%;同时基础混凝土体积(不含基础底板)为3 120 m3,比原型基础减小约31.4%,实现了基础动力优化设计的总体目标。
-
关键词
汽轮发电机组基础
动力优化
迁移式子空间迭代
黑箱优化设计算法
-
Keywords
turbogenerator foundation
dynamic optimization
migration of subspace iteration
black-box opti- mization algorithm
-
分类号
TU476.1
[建筑科学—结构工程]
TU435
[建筑科学—土工工程]
-
-
题名多产品报童问题的直接搜索算法求解
- 6
-
-
作者
郝爽
张大力
董明
-
机构
上海交通大学安泰经济与管理学院
-
出处
《上海管理科学》
2023年第5期5-8,72,共5页
-
基金
国家自然科学基金(72071128,71931007)。
-
文摘
多产品报童问题假设商品需求服从已知分布,在实践中难以直接应用,可将零售商收益视作表达式未知的随机黑箱函数,通过样本均值对收益的期望进行近似,并利用直接搜索算法最大化零售商收益。数值实验表明,直接搜索算法结合可变数量的样本均值近似可在样本数量极为有限的条件下有效求解多产品报童问题,且求解质量优于已有的启发式算法。
-
关键词
多产品报童问题
随机黑箱优化
直接搜索算法
可变样本数量
-
Keywords
multi-product news vendor
stochastic black-box
direct search
variable number sample
-
分类号
F722.2
[经济管理—产业经济]
-
