基于周期性随机梯度 MCMC 的自监督学习概率方法
机器学习
2023-08-03 v1 人工智能
摘要
本文提出一种实用的贝叶斯自监督学习方法，采用周期性随机梯度哈密顿蒙特卡洛（cSGHMC）。在该框架中，我们对自监督学习模型的参数施加先验，并使用 cSGHMC 来近似嵌入空间上高维且多峰的后验分布。通过探索嵌入空间上具有表达力的后验，贝叶斯自监督学习产生可解释且多样的表示。对这些表示进行边际化，在多种下游分类任务上显著提升了性能、校准与分布外检测能力。我们在四个具有挑战性的数据集上给出了多个分类任务的实验结果。此外，我们利用 SVHN 和 CIFAR-10 数据集证明了所提方法在分布外检测中的有效性。
引用
@article{arxiv.2308.01271,
title = {A Probabilistic Approach to Self-Supervised Learning using Cyclical Stochastic Gradient MCMC},
author = {Masoumeh Javanbakhat and Christoph Lippert},
journal= {arXiv preprint arXiv:2308.01271},
year = {2023}
}