RidgeSketch：基于快速草图的规模化岭回归求解器
最优化与控制
2021-05-27 v2
摘要
我们提出求解大规模岭回归问题的草图投影（sketch-and-project）方法的新变体。首先，我们提出一种新的动量方案，并给出定理表明其可通过快速的亚线性收敛速率加速草图投影的收敛。我们仔细界定了在何种设置下该新亚线性速率快于此前已知的无线动量的草图投影线性收敛速率。其次，我们考虑将草图投影方法与计数草图（count sketch）、子计数草图（subcount sketch，我们提出的新方法）和子采样 Hadamard 变换等现代新草图方法结合。我们通过实验表明，与草图投影结合时，（子）计数草图在稀疏数据上非常有效，而标准子采样草图在稠密数据上有效。事实上，我们表明这些草图方法与我们的新动量方案结合后，即便与真实大规模数据上的共轭梯度法相比也具竞争力。相反，我们表明子采样 Hadamard 变换在此设定下表现不佳，尽管使用了快速 Hadamard 变换，且近期提出的加速方案在实践中也表现不佳。为支持我们的所有实验发现并邀请社区验证和扩展我们的结果，我们随本文同时发布开源软件包：RidgeSketch。我们用 Python 设计了这个面向对象包，用于测试草图投影方法和基准化岭回归求解器。RidgeSketch 高度模块化，新草图方法可作为子类轻松添加。我们在附录中给出了包的代码片段。
引用
@article{arxiv.2105.05565,
title = {$\texttt{RidgeSketch}$: A Fast sketching based solver for large scale ridge regression},
author = {Nidham Gazagnadou and Mark Ibrahim and Robert M. Gower},
journal= {arXiv preprint arXiv:2105.05565},
year = {2021}
}
备注
33 pages, 8 figures, 3 algorithms, 2 code snippets, for associated Python package see: https://github.com/facebookresearch/RidgeSketch