连续时间Frank-Wolfe不之字形，但多步法并不加速
最优化与控制
2022-02-02 v2
摘要
Frank-Wolfe算法在结构约束机器学习应用中的使用已重新引起大量兴趣。然而，Frank-Wolfe算法的一个主要局限是由于之字形行为导致的缓慢局部收敛性质。我们观察到，这种之字形现象可视为离散化的产物，因为当该方法被视为连续时间流的欧拉离散化时，该流并不之字形。为此，我们基于同一流的离散化提出多步Frank-Wolfe变体，其截断误差以衰减，其中为方法的阶数。该策略“稳定”了方法，并使得线搜索与动量等工具更具益处。然而，就收敛速率而言，我们的结果最终是否定的，表明任何Runge-Kutta型离散化方案都无法获得优于原始Frank-Wolfe方法的收敛速率。我们相信该分析增进了对优化方法流分析日益增长的认知，并且是关于多步法最终有用性的一个警示故事。
引用
@article{arxiv.2106.05753,
title = {Continuous Time Frank-Wolfe Does Not Zig-Zag, But Multistep Methods Do Not Accelerate},
author = {Zhaoyue Chen and Mokhwa Lee and Yifan Sun},
journal= {arXiv preprint arXiv:2106.05753},
year = {2022}
}