随机对比学习
机器学习
2021-12-01 v3
摘要
尽管最先进的对比自监督学习（SSL）模型产生了可与监督模型相媲美的结果，但它们缺乏推断潜变量的能力。相比之下，规定潜变量（LV）模型能够归因不确定性、诱导特定任务的压缩，且通常允许更具可解释性的表示。在这项工作中，我们引入 LV 近似于大规模对比 SSL 模型。我们证明，这一添加提升了下游性能（使用 ResNet50 在 CIFAR10 和 ImageNet 上分别取得 96.42% 和 77.49% 微调测试 top-1 性能），并产生了对可解释性、分类与回归下游任务有用的高度压缩表示（缩减 588 倍）。
引用
@article{arxiv.2110.00552,
title = {Stochastic Contrastive Learning},
author = {Jason Ramapuram and Dan Busbridge and Xavier Suau and Russ Webb},
journal= {arXiv preprint arXiv:2110.00552},
year = {2021}
}
备注
Accepted to 2nd Workshop on Self-Supervised Learning: Theory and Practice (NeurIPS 2021), Sydney, Australia