$\ell_2$ 正则化的算法视角及若干路径跟踪算法

我们建立了凸损失函数的 $\ell_2$ 正则化解路径与常微分方程(ODE)解之间的等价性。重要的是,该等价性揭示解路径可视为一种混合梯度下降与牛顿法作用于经验损失的流,类似于一种广泛使用的称为信赖域法(trust region method)的优化技术。这提供了 $\ell_2$ 正则化一个有趣的算法视角,并与解路径类似于经验损失梯度流的传统观点形成对比。基于同伦法(homotopy methods)与数值 ODE 求解器提出了新的路径跟踪算法以数值逼近解路径。具体地,我们分别考虑以牛顿法与梯度下降法作为同伦法的基础算法,并建立它们在解路径上的逼近误差率。重要的是,我们的理论提出了选择网格点的新方案,可保证解路径任意小的次优性。在计算代价方面,我们证明为使整个解路径达到 $\epsilon$ 次优性,牛顿法所需牛顿步数为 $\mathcal O(\epsilon^{-1/2})$,而梯度下降法所需梯度步数为 $\mathcal O\left(\epsilon^{-1} \ln(\epsilon^{-1})\right)$。最后,我们以 $\ell_2$ 正则化逻辑回归作为示例来说明所提路径跟踪算法的有效性。