贝叶斯神经网络中的数据增强与冷后验效应
机器学习
2021-12-13 v2 机器学习
摘要
融入数据增强的贝叶斯神经网络隐式使用了“随机扰动的对数似然[其]无法被干净地解释为有效的似然函数”（Izmailov 等，2021）。在此，我们提供若干方法来发展融入数据增强的、有原则的贝叶斯神经网络。我们引入一种“有限轨道”设定，其允许精确计算似然，并在更常见的“完整轨道”设定下给出紧的多样本界。这些模型阐明了冷后验效应的起源。特别地，我们发现冷后验效应即便在这些融入数据增强的有原则模型中依然存在。这表明冷后验效应不能被视为使用不正确似然的数据增强所导致的人为产物。
引用
@article{arxiv.2106.05586,
title = {Data augmentation in Bayesian neural networks and the cold posterior effect},
author = {Seth Nabarro and Stoil Ganev and Adrià Garriga-Alonso and Vincent Fortuin and Mark van der Wilk and Laurence Aitchison},
journal= {arXiv preprint arXiv:2106.05586},
year = {2021}
}