piCholesky：多重 Cholesky 因子的多项式插值用于高效近似交叉验证
机器学习
2015-06-11 v2 数值分析
摘要
使用牛顿法求解最小二乘问题时，主要成本通常是对多个正则化参数 () 值进行 Hessian 矩阵的分解。我们提出了一种高效的方法，用于对在一小组 值上计算出的 Hessian 矩阵的 Cholesky 因子进行插值。这种近似使我们能够最优地最小化留一误差，同时仅产生相对于精确交叉验证的一小部分成本。我们为近似方案提供了形式化的误差界，并提出了解决一系列关键实现挑战的方案，使我们的方法能够最大限度地利用现代架构的计算能力。我们在多个数据集上进行了全面的实证分析，以展示我们方法的有效性。
引用
@article{arxiv.1404.0466,
title = {piCholesky: Polynomial Interpolation of Multiple Cholesky Factors for Efficient Approximate Cross-Validation},
author = {Da Kuang and Alex Gittens and Raffay Hamid},
journal= {arXiv preprint arXiv:1404.0466},
year = {2015}
}