自举你自己的方差
机器学习
2023-12-07 v1 机器学习
摘要
理解模型不确定性对许多应用至关重要。我们提出自举你自己的方差（Bootstrap Your Own Variance, BYOV），将无负样本自监督学习算法自举你自己的隐变量（Bootstrap Your Own Latent, BYOL）与用于估计模型后验的贝叶斯方法反向传播贝叶斯（Bayes by Backprop, BBB）相结合。我们发现，BYOV 与有监督 BBB 模型所学预测标准差能很好地被高斯分布捕获，这为所学参数后验可用于无标签不确定性估计提供了初步证据。BYOV 在确定性 BYOL 基线上有所改进（测试 ECE 提升 2.83%，测试 Brier 分数提升 1.03%），并在使用各种数据增强进行测试时展现出更好的校准性和可靠性（例如，在椒盐噪声下，测试 ECE 提升 2.4%，测试 Brier 分数提升 1.2%）。
引用
@article{arxiv.2312.03213,
title = {Bootstrap Your Own Variance},
author = {Polina Turishcheva and Jason Ramapuram and Sinead Williamson and Dan Busbridge and Eeshan Dhekane and Russ Webb},
journal= {arXiv preprint arXiv:2312.03213},
year = {2023}
}