论对比与非对比自监督学习之间的对偶性
机器学习
2023-06-27 v3 人工智能
计算机视觉与模式识别
摘要
近期图像表示自监督学习的方法可分为不同方法族，特别地，可分为对比和非对比方法。虽然两类方法之间的差异已被充分讨论以启发新方法，但我们更关注它们之间的理论相似性。通过设计在代数上可关联且在有限假设下等价的基于对比和协方差的非对比准则，我们展示了这些族之间可以多么接近。我们进一步研究流行方法并引入其变体，使我们能将这一理论结果与当前实践相联系，并展示设计选择对下游性能的影响（或缺乏影响）。受等价性结果启发，我们研究了SimCLR的低性能，并展示通过细致的超参数调优它如何能匹配VICReg，显著优于已知基线。我们还挑战了非对比方法需要大输出维度的流行假设。我们的理论和定量结果表明，在某些机制下对比与非对比方法之间的数值差距，在更好的网络设计选择和超参数调优下可以弥合。证据表明，统一不同SOTA方法是建立对自监督学习更好理解的重要方向。
引用
@article{arxiv.2206.02574,
title = {On the duality between contrastive and non-contrastive self-supervised learning},
author = {Quentin Garrido and Yubei Chen and Adrien Bardes and Laurent Najman and Yann Lecun},
journal= {arXiv preprint arXiv:2206.02574},
year = {2023}
}
备注
The Eleventh International Conference on Learning Representations, 2023, Kigali, Rwanda