优化近似留一交叉验证以调优超参数
机器学习
2020-11-23 v1 机器学习
摘要
对于一大类正则化模型，留一交叉验证可通过近似留一公式（ALO）高效估计。我们考虑调整超参数以优化ALO的问题。我们推导了计算ALO梯度和海森矩阵的高效公式，并展示了如何应用二阶优化器来寻找超参数。我们通过在多个真实世界数据集上为正则化逻辑回归和岭回归寻找超参数，证明了所提方法的实用性。
引用
@article{arxiv.2011.10218,
title = {Optimizing Approximate Leave-one-out Cross-validation to Tune Hyperparameters},
author = {Ryan Burn},
journal= {arXiv preprint arXiv:2011.10218},
year = {2020}
}
备注
20 pages, 4 figures