作为变分推断的自监督学习中的表示不确定性
计算机视觉与模式识别
2023-09-11 v4
摘要
在本研究中，提出了一种新颖的自监督学习（SSL）方法，其从变分推断的角度考虑 SSL，以不仅学习表示还学习表示不确定性。SSL 是一种通过最大化图像的不同增强视图的图像表示之间的相似性来在无标签情况下学习表示的方法。同时，变分自编码器（VAE）是一种无监督表示学习方法，其通过变分推断训练概率生成模型。VAE 和 SSL 都可以在无标签情况下学习表示，但过去尚未研究它们之间的关系。本文阐明了 SSL 与变分推断之间的理论关系。此外，提出了一种新方法，即变分推断 SimSiam（VI-SimSiam）。VI-SimSiam 通过将 SimSiam 用变分推断解释并定义潜空间分布，可以预测表示不确定性。本实验定性地表明，VI-SimSiam 可以通过比较输入图像与预测的不确定性来学习不确定性。此外，我们描述了估计不确定性与分类精度之间的关系。
引用
@article{arxiv.2203.11437,
title = {Representation Uncertainty in Self-Supervised Learning as Variational Inference},
author = {Hiroki Nakamura and Masashi Okada and Tadahiro Taniguchi},
journal= {arXiv preprint arXiv:2203.11437},
year = {2023}
}
备注
Accepted to ICCV 2023