勾勒 Krylov 子空间:更快计算完整岭正则化路径
最优化与控制
2022-10-25 v1
摘要
我们提出一种在近线性时间内计算完整岭回归正则化路径的快速算法。我们的方法构造一个基,在该基上可对任意正则化参数值即时计算岭回归解。因此,线性模型可通过交叉验证或其他风险估计策略以显著更高的效率进行调优。该算法基于沿正则化路径以二项分解迭代勾勒 Krylov 子空间。我们给出了使用多种勾勒矩阵的收敛性分析,并表明其改进了最先进的计算复杂度。我们还提供一种自适应估计勾勒维数的技术。该算法适用于超定和欠定问题。我们还给出了矩阵值岭回归的扩展。在真实中大规模岭回归任务上的数值结果说明了所提方法相较于需要超线性计算时间的标准基线的有效性。
引用
@article{arxiv.2210.12212,
title = {Sketching the Krylov Subspace: Faster Computation of the Entire Ridge Regularization Path},
author = {Yifei Wang and Mert Pilanci},
journal= {arXiv preprint arXiv:2210.12212},
year = {2022}
}