我们能否全局优化交叉验证损失？岭回归中的拟凸性
机器学习
2022-11-03 v2 机器学习
统计方法学
摘要
诸如LASSO和岭回归之类的模型因其可解释性、易用性以及强有力的理论保证而在实践中被广泛使用。交叉验证（CV）在这些模型的超参数调优中被广泛使用，但实用的优化方法是否最小化了真正的样本外损失？近期一系列研究有望表明，CV损失的 optimum 与样本外损失的 optimum 相匹配（可能在简单修正之后）。仍有待说明最小化CV损失的可处理性如何。在本文中，我们证明，在岭回归的情形下，CV损失可能并非拟凸，从而可能具有多个局部最优。我们能在至少一种情形下保证CV损失是拟凸的：当协变量矩阵谱近乎平坦且观测响应中的噪声不太高时。更一般地，我们证明拟凸性状态独立于观测数据的许多性质（响应范数、协变量矩阵右奇异向量与奇异值缩放），而对剩余少数性质具有复杂依赖。我们通过模拟实验实证确认了我们的理论。
引用
@article{arxiv.2107.09194,
title = {Can we globally optimize cross-validation loss? Quasiconvexity in ridge regression},
author = {William T. Stephenson and Zachary Frangella and Madeleine Udell and Tamara Broderick},
journal= {arXiv preprint arXiv:2107.09194},
year = {2022}
}
备注
Published in NeurIPS 2021