关于带绝对误差界的准精确一阶方法的非渐近收敛分析
最优化与控制
2025-10-15 v2
摘要
随着各种新兴应用的不断涌现，获取精确梯度的可能性降低或计算成本高昂，使得带有不精确或近似 oracle 的一阶算法的性能分析日益受到关注。先前的研究表明，加速的一阶方法对梯度误差的敏感性高于非加速方法。本文针对求解确定性光滑凸问题的带有不精确梯度的两个加速方法，进行非渐近收敛界限分析。以性能估计问题 (Performance Estimation Problem, PEP) 为主要工具，分析所述算法的收敛界限。通过求解 PEP 的解析解，我们推导出具有绝对误差界的广义优化梯度法 (Generalized Optimized Gradient Method, GOGM) 和广义快速梯度法 (Generalized Fast Gradient Method, GFGM) 的新型收敛界限。推导得到的界限允许在迭代过程中梯度的不精确性变化；此外，这些界限中累积误差项与初始条件及任何未知参数无关。此外，我们分析了收敛界限中消失项与累积误差之间的权衡，这指导寻找最优步长。最后，我们确定在保证累积误差始终小于消失项的前提下，若给定应用可能的话，确定设置梯度不精确性的最优策略。
关键词
引用
@article{arxiv.2408.00720,
title = {Nonasymptotic Analysis of Accelerated Methods With Inexact Oracle Under Absolute Error Bound},
author = {Yin Liu and Sam Davanloo Tajbakhsh},
journal= {arXiv preprint arXiv:2408.00720},
year = {2025}
}