解耦冷后验效应中数据筛选、数据增强与先验的作用
机器学习
2021-10-29 v2 人工智能
摘要
贝叶斯深度学习中的“冷后验效应”（CPE）描述了一个令人不安的现象：若使用温度参数 T<1 人为锐化贝叶斯后验，贝叶斯神经网络的预测性能可显著提升。CPE 在理论与实践上均存在问题，自该效应被识别以来，许多研究者提出了用以解释该现象的各种假设。然而，尽管研究投入密集，该效应仍鲜为人知。本文针对已有的冷后验效应解释提供新颖且细致的证据，解耦了三种假设：1. Aitchison（2020）的数据筛选假设：我们通过实证表明，CPE 不会出现在真实的筛选数据集中，但可在具有不同筛选强度的受控实验中产生。2. Izmailov 等人（2021）与 Fortuin 等人（2021）的数据增强假设：我们通过实证表明，数据增强对 CPE 的出现是充分但非必要的。3. Wenzel 等人（2020）的不良先验假设：我们通过一个简单实验评估先验与似然的相对重要性，将 CPE 与先验紧密关联。我们的结果表明，CPE 如何能脱离合成筛选、数据增强和不良先验而孤立出现。因此，在“真实场景”中观察到的冷后验不太可能源于单一简单原因；相应地，我们不期望对冷后验有简单的“修复”方案。
引用
@article{arxiv.2106.06596,
title = {Disentangling the Roles of Curation, Data-Augmentation and the Prior in the Cold Posterior Effect},
author = {Lorenzo Noci and Kevin Roth and Gregor Bachmann and Sebastian Nowozin and Thomas Hofmann},
journal= {arXiv preprint arXiv:2106.06596},
year = {2021}
}