适用于 Frank-Wolfe 算法加速收敛率的自适应开环步长

最近的工作表明,在特定情景下,带有开环步长 $\eta_t = \frac{\ell}{t+\ell}$ 的 Frank-Wolfe 算法(FW)对于固定参数 $\ell \in \mathbb{N},\, \ell \geq 2$,可实现比传统 $O(t^{-1})$ 收敛率更快的收敛速度.特别是当满足强增长属性时,使用开环步长 $\eta_t = \frac{\ell}{t+\ell}$ 可实现的收敛率为 $O(t^{-\ell})$.在此设置下,没有单个参数值 $\ell$ 作为优势.本文表明,使用 log-adaptive 开环步长 $\eta_t = \frac{2+\log(t+1)}{t+2+\log(t+1)}$ 的 FW 可实现的收敛率至少与固定参数开环步长 $\eta_t = \frac{\ell}{t+\ell}$ 对任何 $\ell \in \mathbb{N},\,\ell\geq 2$ 的值相当.为建立我们的主要收敛结果,我们将之前针对 FW 的仿射不变加速收敛结果推广到更一般的开环步长形式 $\eta_t = g(t)/(t+g(t))$,其中 $g:\mathbb{N}\to\mathbb{R}_{\geq 0}$ 为任意非递减函数,使得步长序列 $(\eta_t)$ 为非递增.这在 particular 包含通过选择 $g(t) = \ell$ 实现固定参数情况,以及通过选择 $g(t) = 2+ \log(t+1)$ 实现 log-adaptive 情况.为便于采用 log-adaptive 开环步长,我们已将此规则集成到 {\tt FrankWolfe.jl} 软件包中.