预训练贝叶斯神经网络对 corruptions 的鲁棒性
机器学习
2023-02-24 v3 人工智能
摘要
我们提出了ShiftMatch，一种用于贝叶斯神经网络（BNN）中抗 corruption 的、依赖于训练数据的新似然。ShiftMatch受Izmailov等人（2021a）提出的依赖于训练数据的“EmpCov”先验启发，高效地将被测时刻的空间相关性与训练时刻的空间相关性进行匹配。关键在于，ShiftMatch被设计为不改变神经网络的训练时刻似然，从而能够使用公开可用的预训练BNN样本。利用预训练的HMC样本，ShiftMatch在CIFAR-10-C上取得了显著的性能提升，优于EmpCov先验（尽管ShiftMatch使用了来自一小批 corrupted 测试点的额外信息），并且可能是首个能够令人信服地超越普通深度集成（deep ensembles）的贝叶斯方法。
引用
@article{arxiv.2206.12361,
title = {Robustness to corruption in pre-trained Bayesian neural networks},
author = {Xi Wang and Laurence Aitchison},
journal= {arXiv preprint arXiv:2206.12361},
year = {2023}
}
备注
Published in the International Conference on Learning Representations (ICLR) 2023