无欠拟合的贝叶斯：通过交替投影实现全相关后验
机器学习
2024-10-23 v1 机器学习
摘要
贝叶斯深度学习常常出现欠拟合，导致贝叶斯预测不如简单点估计准确。不确定性量化因此以牺牲准确性为代价。对于线性化模型，高斯-牛顿矩阵的零空间对应于保持点估计训练预测不变的参数。我们建议在该零空间中构建贝叶斯近似，从而保证贝叶斯预测不会欠拟合。我们提出了一种无矩阵算法来投影到该零空间，其计算复杂度与参数数量成线性关系，与输出维度成二次关系。我们进一步提出一种仅与参数数量成线性关系的近似，使该方法适用于生成模型。广泛的实证评估表明，该方法可扩展到大型模型，包括具有2800万个参数的视觉变换器。
引用
@article{arxiv.2410.16901,
title = {Bayes without Underfitting: Fully Correlated Deep Learning Posteriors via Alternating Projections},
author = {Marco Miani and Hrittik Roy and Søren Hauberg},
journal= {arXiv preprint arXiv:2410.16901},
year = {2024}
}