在线拉普拉斯模型选择的再审视
机器学习
2024-01-10 v2 机器学习
摘要
拉普拉斯近似为神经网络（NN）提供了一种闭式模型选择目标。在线变体在优化 NN 参数的同时联合优化超参数（如权重衰减强度），近来在贝叶斯深度学习社区中重新受到关注。然而，这些方法违背了拉普拉斯方法的关键假设，即近似应在损失的模（极大值点）附近进行，从而令人质疑其合理性。本文重新推导了在线拉普拉斯方法，表明它们针对的是对拉普拉斯证据的一个模修正变体的变分界，该变体不作平稳性假设。在线拉普拉斯及其模修正对应物共享驻点，其中 1. NN 参数为最大后验估计，满足拉普拉斯方法的假设，且 2. 超参数最大化拉普拉斯证据，这为在线方法提供了动机。我们证明，在使用全批量梯度下降在 UCI 回归数据集上训练的在线算法中，这些最优值在实践上大致可以达到。优化后的超参数防止了过拟合，并优于基于验证集的早停法。
引用
@article{arxiv.2307.06093,
title = {Online Laplace Model Selection Revisited},
author = {Jihao Andreas Lin and Javier Antorán and José Miguel Hernández-Lobato},
journal= {arXiv preprint arXiv:2307.06093},
year = {2024}
}
备注
Advances in Approximate Bayesian Inference 2023