-
题名适应梯度变化的普适在线凸优化算法
- 1
-
-
作者
刘朗麒
张利军
-
机构
南京大学计算机软件新技术全国重点实验室
南京大学人工智能学院
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2024年第11期2629-2644,共16页
-
基金
国家自然科学基金(62122037,U23A20382)资助。
-
文摘
普适在线凸优化算法能够自动适应多类损失函数并进行优化,这使得用户无须自行判别损失函数的类型,降低了在线凸优化技术的使用门槛.虽然现有的普适算法对于多类损失函数的理论保障均达到极小极大最优,但是它们难以针对一般凸函数获得问题相关的理论保障.为解决该问题,本文提出的UAGV算法不仅能够自动适应一般凸与强凸的损失函数,同时首次在平滑条件下对于一般凸损失函数保障了梯度变化界,即能够在损失函数梯度变化缓慢时取得更好的性能.算法整体采用元算法-专家算法的二层结构,在顶层本文创新性地采用具有乐观项的元算法,并针对梯度变化界的形式设计替代损失函数与乐观项,使得其在结合底层专家算法时能够获得相应保障.在多个数据集上的实验结果表明,UAGV算法对于平滑一般凸函数产生的遗憾整体小于现有普适算法,在部分数据集上遗憾减小的幅度超过14%.
-
关键词
在线凸优化
普适算法
平滑
梯度变化
问题相关界
乐观项
-
Keywords
online convex optimization
universal algorithm
smoothness
gradient-variation
problem-dependent bound
optimism
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
