扩展自监督学习规模时无需领域特定的数据增强
机器学习
2024-12-02 v2 计算机视觉与模式识别
摘要
基于联合嵌入架构(JEA)的自监督学习(SSL)已取得卓越性能。该范式的所有实例均使用强大且成熟的手工数据增强进行训练,导致普遍认为这些增强是此类模型正确训练和性能的必要条件。另一方面,基于生成式重建的模型(如BEIT和MAE)或联合嵌入预测架构(如I-JEPA)在仅使用掩码而不使用数据增强的情况下也展现了强劲性能。在本工作中,我们质疑了不变性和数据增强在规模化JEA中的重要性。通过对近期SSL基础模型DINOv2进行案例研究,我们证明:只要训练数据足够大,仅使用不调整尺寸的裁剪操作,JEA即可获得强大的图像表示,达到文献中最先进的结果,且使用了最少的增强量。通过这项研究,我们还讨论了计算约束对实验性深度学习研究成果的影响,表明它们可能导致截然不同的结论。
引用
@article{arxiv.2406.09294,
title = {You Don't Need Domain-Specific Data Augmentations When Scaling Self-Supervised Learning},
author = {Théo Moutakanni and Maxime Oquab and Marc Szafraniec and Maria Vakalopoulou and Piotr Bojanowski},
journal= {arXiv preprint arXiv:2406.09294},
year = {2024}
}