迈向联合嵌入自监督学习的民主化
机器学习
2023-03-06 v1
摘要
联合嵌入自监督学习（JE-SSL）近年来发展迅速，因为它有望有效利用大量无标签数据。JE-SSL 方法的发展主要由追求不断提高的下游分类准确率所驱动，使用了巨大的计算资源，并且通常建立在从其相近的父代 JE-SSL 方法继承的见解和直觉之上。这无意中导致了许多跨方法延续的先入为主的观念，例如：SimCLR 需要非常大的 mini-batch 才能获得有竞争力的准确率；需要强且计算缓慢的数据增强。在这项工作中，我们揭穿了若干此类错误形成的先验观念，希望释放 JE-SSL 的全部潜力，摆脱不必要的限制。事实上，当仔细评估不同下游任务上的性能并适当优化方法的超参数时，我们绝大多数时候——如果不是总是——看到这些广泛流传的误解并不成立。例如，我们展示了可以训练 SimCLR 来学习有用的表示，同时使用单个图像块作为负例，以及简单的高斯噪声作为正对的唯一数据增强。沿着这些思路，为了让研究人员能够轻松对其方法做更广泛的评估，从而希望实现 JE-SSL 的民主化，我们引入了一个优化的 PyTorch SSL 库。
引用
@article{arxiv.2303.01986,
title = {Towards Democratizing Joint-Embedding Self-Supervised Learning},
author = {Florian Bordes and Randall Balestriero and Pascal Vincent},
journal= {arXiv preprint arXiv:2303.01986},
year = {2023}
}