用于非凸优化的单循环高斯同伦方法
最优化与控制
2022-11-17 v2
摘要
高斯同伦（GH）方法是一种流行的方法，通过逐渐减小参数值 ，将待求解问题从几乎凸的问题变为原始目标问题，从而为 non-convex 优化问题寻找更好的驻点。现有的基于 GH 的方法在每次更新 时反复调用迭代优化求解器以寻找驻点，这带来了高昂的计算成本。我们提出了一种新颖的 GH 方法单循环框架（SLGH），它同时更新参数 和优化决策变量。在多种情况下对 SLGH 算法进行了计算复杂度分析：在确定性和随机性设置下，均可获得 GH 函数的梯度或无梯度 oracle。即便由于 的存在待求解问题逐渐变化，具有调优超参数的 SLGH 的收敛速率仍与梯度下降的收敛速率一致。在数值实验中，我们的 SLGH 算法比现有的双循环 GH 方法收敛更快，同时在寻找更优解方面优于基于梯度下降的方法。
引用
@article{arxiv.2203.05717,
title = {Single Loop Gaussian Homotopy Method for Non-convex Optimization},
author = {Hidenori Iwakiri and Yuhang Wang and Shinji Ito and Akiko Takeda},
journal= {arXiv preprint arXiv:2203.05717},
year = {2022}
}
备注
46 pages