子采样牛顿法对高维数据是否有效？

子采样牛顿法通过子采样技术近似 Hessian 矩阵，减轻了构造 Hessian 矩阵的开销，同时利用了充分的曲率信息。然而，先前的结果需要 $\Omega (d)$ 个样本来近似 Hessian，其中 $d$ 为数据点的维数，这使其对高维数据而言实用性较低。当 $d$ 与数据点数量 $n$ 相当时情况更糟，此时需要计入整个数据集，使子采样失去作用。本文从理论上证明了子采样牛顿法在高维数据上的有效性。具体而言，我们证明在 Hessian 矩阵近似中仅需 $\widetilde{\Theta}(d^\gamma_{\rm eff})$ 个样本，其中 $d^\gamma_{\rm eff}$ 为 $\gamma$-ridge leverage，只要 $n\gamma \gg 1$ 便可远小于 $d$。此外，我们推广了该结果，使子采样牛顿法可适用于高维数据上的分布式优化问题与非光滑正则化问题。