深度神经网络中冷后验的统计理论
机器学习
2021-04-28 v2 机器学习
摘要
为使贝叶斯神经网络性能与标准神经网络相当，通常有必要使用“ tempered（ tempered）”或“ cold（冷）”后验来人为降低不确定性。这极其令人担忧：若先验准确，贝叶斯推断/决策理论是最优的，任何对后验的人为改动都应损害性能。尽管这暗示先验可能有问题，但本文认为事实上，用于图像分类的 BNN 使用了错误的似然。具体而言，诸如 CIFAR-10 等标准图像基准数据集经过精心筛选。我们建立了一个描述筛选过程的生成模型，该模型给出了冷后验的规范性贝叶斯解释，因为该新生成模型下的似然与既往工作使用的 tempered 似然高度吻合。
引用
@article{arxiv.2008.05912,
title = {A statistical theory of cold posteriors in deep neural networks},
author = {Laurence Aitchison},
journal= {arXiv preprint arXiv:2008.05912},
year = {2021}
}
备注
Published at ICLR 2021 (https://openreview.net/forum?id=Rd138pWXMvG)