通过同伦方法加速 Lasso 计算中的预热阶段

在优化中，已知当目标函数严格凸且良态时，基于梯度的方法可极其有效，例如达到指数收敛速率。另一方面，现有的 Lasso 型估计量通常由于绝对值函数在原点处的不良性质而无法达到最优速率。同伦方法是使用一系列代理函数来逼近 Lasso 型估计量中使用的 $\ell_1$ 惩罚。这些代理函数将收敛到 Lasso 估计量中的 $\ell_1$ 惩罚。同时，每个代理函数都是严格凸的，这使得可证明更快的数值收敛速率成为可能。在本文中，我们证明通过精细定义代理函数，可以证明比现有任何计算 Lasso 型估计量的方法更快的数值收敛速率。即，最先进算法只能保证 $O(1/\epsilon)$ 或 $O(1/\sqrt{\epsilon})$ 收敛速率，而我们可以证明新提出算法的 $O([\log(1/\epsilon)]^2)$ 速率。我们的数值模拟表明新算法在经验上也表现更好。