若无欠拟合，则无冷后验效应
机器学习
2023-10-03 v1 机器学习
摘要
贝叶斯深度学习中的冷后验效应（CPE）（Wenzel 等人，2020）表明，对于温度 的后验，所得后验预测可能比贝叶斯后验（）具有更好的性能。由于已知贝叶斯后验在模型设定正确时是最优的，许多近期工作将 CPE 的存在视为由先验和/或似然函数引起的模型误设问题加以研究。在本工作中，我们对 CPE 提供了更细致的理解：我们表明误设仅在由此得到的贝叶斯后验发生欠拟合时才会导致 CPE。事实上，我们从理论上证明，若无欠拟合，则无 CPE。
引用
@article{arxiv.2310.01189,
title = {If there is no underfitting, there is no Cold Posterior Effect},
author = {Yijie Zhang and Yi-Shan Wu and Luis A. Ortega and Andrés R. Masegosa},
journal= {arXiv preprint arXiv:2310.01189},
year = {2023}
}
备注
9 pages, 3 figures, ICLR 2024