随机Frank-Wolfe方法：统一分析与特例集锦

条件梯度法（或称Frank-Wolfe方法）是求解各类机器学习任务中约束优化问题最著名的方法之一。其迭代简单且适用于许多实际问题，因此在该领域广受欢迎。近年来，Frank-Wolfe算法得到了许多不同的扩展，包括用于训练大型模型的带有方差缩减和坐标采样的随机修正版本，以及用于大数据问题的分布式变体。本文提出了随机Frank-Wolfe方法的统一收敛性分析，涵盖了大量具有完全不同随机性本质、直觉和应用领域的特定实际案例。我们的分析基于对随机梯度方差的一个关键参数假设。但与大多数其他方法（如SGD）的统一分析工作不同，我们并未假设真实梯度估计的无偏性。由于凸问题与非凸问题在机器学习中都很常见，我们对这两种情况都进行了分析。借助这一通用理论框架，我们不仅涵盖了众多已知方法的收敛速率，还开发了大量新方法。这展示了我们基于条件梯度法开发新算法的灵活性。我们还通过数值实验展示了新方法的性质。