面向凸多目标优化问题的加速梯度法及自适应重启策略
最优化与控制
2025-02-06 v5 数值分析
数值分析
摘要
本文基于连续时间方法，提出一种针对凸多目标优化问题的自适应残差重启加速梯度法。首先，严格推导了由 Tanabe 等人 [Comput. Optim. Appl., 2023] 的多目标加速原型梯度法的连续极限。这是一阶微分方程(ODE)，涉及特殊投影算子，可视为 Su 等人 [J. Mach. Learn. Res., 2016] 对于 Nesterov 加速的扩展。随后，我们引入一种量身定制时间尺度的新型加速多目标梯度(AMG)流，以适应凸情况和强凸情况，确立了 AMG 流沿解轨迹的merit函数指数衰减率，通过 Lyapunov 分析实现。随后，我们考虑隐式-显式时间离散化，得到一种凸二次规划子问题的加速多目标梯度法。分别证明了凸问题和强凸问题的快速亚线性收敛率和线性收敛率。此外，我们提出一种高效的基于残差的自适应重启技术，以克服振荡问题并显著提高收敛速度。提供数值结果以验证所提方法的实际性能。
引用
@article{arxiv.2501.07863,
title = {An accelerated gradient method with adaptive restart for convex multiobjective optimization problems},
author = {Hao Luo and Liping Tang and Xinmin Yang},
journal= {arXiv preprint arXiv:2501.07863},
year = {2025}
}