强凸集上 Frank-Wolfe 算法的仿射不变分析
最优化与控制
2020-11-09 v1
摘要
已知具有仿射协变性的 Frank-Wolfe（FW）算法在约束集为强凸时享有加速收敛速率。然而，这些结果依赖于与范数相关的假设，通常导致非仿射不变的界，与 FW 的仿射协变性质相矛盾。在本工作中，我们引入关于问题的新结构假设（如方向光滑性），并推导出 FW 的仿射不变、与范数无关的分析。基于我们的分析，我们提出一种仿射不变回溯线搜索。有趣的是，我们表明使用目标函数光滑性的典型回溯线搜索虽在步长计算中使用仿射相关范数，却惊人地收敛到仿射不变步长。这表明我们未必需要预先知道集合的结构即可享受仿射不变加速速率。
关键词
引用
@article{arxiv.2011.03351,
title = {Affine Invariant Analysis of Frank-Wolfe on Strongly Convex Sets},
author = {Thomas Kerdreux and Lewis Liu and Simon Lacoste-Julien and Damien Scieur},
journal= {arXiv preprint arXiv:2011.03351},
year = {2020}
}