光滑凸优化中长步法和加速法的经验性与计算机辅助鲁棒性分析
最优化与控制
2025-07-02 v3 机器学习
摘要
本工作通过绩效估计方法，对不同一阶优化方法在梯度计算相对不准确情况下的鲁棒性进行经验性和理论性评估。相对不准确性例如在处理大规模问题时，通过减少比特数来压缩梯度。本文分析了三大类方法：常数步长梯度下降、长步法和加速法。后两种方法首先被证明在不准确性下理论上不具鲁棒性。随后引入一种半经验性缩短因子以改进其理论保证。所有方法随后在具体不准确问题上进行测试，采用两种不同的相对不准确性类型，结果显示加速方法的鲁棒性远超预期，缩短因子对长步法显著有益。最终，所有缩短后的方法在该不准确环境中都表现出前景。
引用
@article{arxiv.2506.09730,
title = {Empirical and computer-aided robustness analysis of long-step and accelerated methods in smooth convex optimization},
author = {Pierre Vernimmen and François Glineur},
journal= {arXiv preprint arXiv:2506.09730},
year = {2025}
}