数据增强 vs 算法：自监督学习中什么起作用
机器学习
2024-03-12 v1 计算机视觉与模式识别
摘要
我们研究了数据增强、预训练算法和模型架构在自监督学习（SSL）中的相对影响。尽管该领域最近的文献给人留下的印象是预训练算法对性能至关重要，但由于难以在方法之间进行客观且直接的比较，理解其影响变得复杂。我们提出了一个新框架，将许多看似不同的 SSL 方法统一为单一共享模板。利用该框架，我们识别了方法存在差异的方面，并观察到除了更改预训练算法外，许多工作还使用了新的数据增强或更强大的模型架构。我们使用该框架比较了几种流行的 SSL 方法，发现许多算法层面的添加（如预测网络或新损失函数）对下游任务性能的影响较小（通常低于 ），而增强的增强技术提供了更显著的性能提升（）。我们的发现挑战了 SSL 主要由算法改进驱动的假设，并提出了 SSL 的一个苦涩教训：增强多样性与数据/模型规模是近期自监督学习进展更关键的贡献者。
引用
@article{arxiv.2403.05726,
title = {Augmentations vs Algorithms: What Works in Self-Supervised Learning},
author = {Warren Morningstar and Alex Bijamov and Chris Duvarney and Luke Friedman and Neha Kalibhat and Luyang Liu and Philip Mansfield and Renan Rojas-Gomez and Karan Singhal and Bradley Green and Sushant Prakash},
journal= {arXiv preprint arXiv:2403.05726},
year = {2024}
}
备注
18 pages, 1 figure