等变对比学习
计算机视觉与模式识别
2022-03-16 v2 机器学习
图像与视频处理
应用物理
摘要
在最先进的自监督学习（SSL）中，预训练通过鼓励表示在由人类知识规定的有意义变换下保持不变，从而产生语义良好的表示。事实上，不变性这一性质是更广泛类别（称为等变性）的一个平凡实例，其可直观理解为表示随输入变换方式而相应变换的性质。此处我们表明，预训练不仅可使用不变性，还可鼓励对某些变换的非平凡等变性，同时保持对其他变换的不变性，从而用于提升表示的语义质量。具体而言，我们将流行的 SSL 方法扩展到一个更通用的框架，命名为等变自监督学习（E-SSL）。在 E-SSL 中，一个简单的额外预训练目标通过预测应用于输入的变换来鼓励等变性。我们在多个流行的计算机视觉基准上实证展示了 E-SSL 的有效性，例如将 SimCLR 在 ImageNet 上的线性探测准确率提升至 72.5%。此外，我们展示了 E-SSL 在计算机视觉之外应用中的用处；特别地，我们展示了其在光子学科学中回归问题上的效用。我们的代码、数据集和预训练模型可在 https://github.com/rdangovs/essl 获取，以助益 E-SSL 的进一步研究。
引用
@article{arxiv.2111.00899,
title = {Equivariant Contrastive Learning},
author = {Rumen Dangovski and Li Jing and Charlotte Loh and Seungwook Han and Akash Srivastava and Brian Cheung and Pulkit Agrawal and Marin Soljačić},
journal= {arXiv preprint arXiv:2111.00899},
year = {2022}
}
备注
Camera Ready Revision. ICLR 2022. Discussion: https://openreview.net/forum?id=gKLAAfiytI Code: https://github.com/rdangovs/essl