Newton-LESS：用于草图牛顿更新的无折中稀疏化
最优化与控制
2021-07-16 v1 数据结构与算法
机器学习
机器学习
摘要
在二阶优化中，一个潜在的瓶颈可能是每次迭代计算优化函数的Hessian矩阵。随机草图已成为一种强大的技术，用于构造Hessian的估计以执行近似牛顿步。这涉及与随机草图矩阵相乘，从而在草图的计算代价与优化算法的收敛速率之间引入折中。一个理论上可取但实践中过于昂贵的选项是使用稠密高斯草图矩阵，它产生精确牛顿步的无偏估计并提供与问题无关的强收敛保证。我们证明高斯草图矩阵可被大幅稀疏化，显著降低了草图的计算代价，而不实质影响其收敛性质。该方法称为Newton-LESS，基于最近引入的草图技术：杠杆得分稀疏化（LESS）嵌入。我们证明对于一大类优化任务，Newton-LESS享有几乎与高斯嵌入相同的与问题无关的局部收敛速率，不仅直至常数因子，甚至低至低阶项。特别地，这带来了迭代最小二乘求解器的新state-of-the-art收敛结果。最后，我们将LESS嵌入扩展至包含均匀稀疏化随机符号矩阵，其可高效实现且在数值实验中表现良好。
引用
@article{arxiv.2107.07480,
title = {Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update},
author = {Michał Dereziński and Jonathan Lacotte and Mert Pilanci and Michael W. Mahoney},
journal= {arXiv preprint arXiv:2107.07480},
year = {2021}
}