提升法即 Frank-Wolfe 算法

一些提升算法，如 LPBoost、ERLPBoost 和 C-ERLPBoost，旨在求解带 $\ell_1$ 范数正则化的软间隔优化问题。LPBoost 在实践中快速收敛到 $\epsilon$ 近似解，但已知在最坏情况下需要 $\Omega(m)$ 次迭代，其中 $m$ 为样本量。另一方面，ERLPBoost 和 C-ERLPBoost 保证在 $O(\frac{1}{\epsilon^2} \ln \frac{m}{\nu})$ 次迭代内收敛到 $\epsilon$ 近似解。然而，与 LPBoost 相比，每次迭代的计算量非常高。为解决此问题，我们提出一种通用提升方案，结合 Frank-Wolfe 算法与任意辅助算法并迭代切换二者。我们证明该方案保留了与 ERLPBoost 和 C-ERLPBoost 相同的收敛保证。可引入任意辅助算法以在实践上改进。该方案源于软间隔优化提升算法的统一视角。更具体地，我们证明 LPBoost、ERLPBoost 和 C-ERLPBoost 均为 Frank-Wolfe 算法的实例。在真实数据集上的实验中，我们方案的一个实例利用了辅助算法更好的更新，并与 LPBoost 表现相当。