绝对光滑弗兰克-沃尔夫方法:原始-对偶分析、重球动量和非精确预言机
最优化与控制
2026-05-20 v1
摘要
我们研究了满足绝对光滑性的凸目标的免投影优化,绝对光滑性是一种结构性质,它捕捉了许多非光滑但分段光滑的函数,例如在现代机器学习模型中出现的函数。我们为绝对光滑弗兰克-沃尔夫方法开发了一个统一框架,建立了一个清晰的原始-对偶分析,该分析在不要求经典光滑性假设的情况下保证了收敛性。我们的框架在两个重要方向上扩展了现有结果。首先,我们引入了一个重球动量变体,并表明在绝对光滑性下可以自然地融入动量,同时保持收敛保证。其次,我们分析了非精确最小化预言机,展示了对近似内部解的鲁棒性。此外,我们放宽了完全凸性假设,并研究了凸性仅对目标的分段线性近似成立的情况,进一步拓宽了条件梯度方法对更广泛的非光滑问题的适用性。
引用
@article{arxiv.2605.19828,
title = {Abs-Smooth Frank-Wolfe Method: Primal-Dual Analysis, Heavy Ball Momentum, and Inexact Oracles},
author = {Sri Harshitha Tadinada and Sebastian Pokutta and Andrea Walther},
journal= {arXiv preprint arXiv:2605.19828},
year = {2026}
}