充分斜率条件下无投影一阶方法分析的统一框架
最优化与控制
2020-08-25 v1
摘要
无投影一阶方法的分析常因存在不同种类的“好”步与“坏”步而复杂化。本文中，我们提出一个无投影方法的统一框架，旨在通过消除步间此类区分来简化收敛分析。我们框架采用的主要工具是短步链（SSC）过程，其在连续短步中跳过梯度计算直至满足适当停止条件。该技术使我们能在一般光滑非凸设定下给出统一分析与收敛速率，以及在 Kurdyka-Lojasiewicz（KL）性质下的收敛速率——据我们所知，此设定此前未被所研究的无投影方法分析过。在此背景下，我们证明了在相同条件下与投影梯度法相当的局部收敛速率。我们的分析依赖于一个充分斜率条件，确保方法所选方向在可行方向中具有可达常数倍的最陡斜率。该条件被多种 Frank-Wolfe（FW）变体（在多面体上）及某些在具光滑边界凸集上的无投影方法所满足。
引用
@article{arxiv.2008.09781,
title = {A unifying framework for the analysis of projection-free first-order methods under a sufficient slope condition},
author = {Francesco Rinaldi and Damiano Zeffiro},
journal= {arXiv preprint arXiv:2008.09781},
year = {2020}
}
备注
36 pages, 4 figures