自监督学习的奥卡姆剃刀：什么足以学习好的表征？
机器学习
2024-06-18 v1 人工智能
摘要
深度学习常被描述为数据-架构-损失的三元组。然而，近期的自监督学习(SSL)解决方案引入了许多额外的设计选择，例如投影网络、正视图或师生网络。这些添加带来了两个挑战。首先，它们限制了理论研究的 impact，因为这些研究往往无法纳入所有这些相互交织的设计。其次，它们减缓了 SSL 方法向新领域的部署，因为需要仔细调整大量超参数。在本研究中，我们提出了一个令人惊讶的观察结果——至少对于样本数高达几十万的预训练数据集而言——SSL 引入的额外设计对学习表征的质量并无贡献。这一发现不仅为现有的理论研究提供了合理性，也简化了从业者在众多中小规模场景中部署 SSL 的路径。我们的发现回答了一个长期存在的问题：SSL 中经常遇到的训练设置和超参数敏感性源于其设计，而非缺乏监督指导。
引用
@article{arxiv.2406.10743,
title = {Occam's Razor for Self Supervised Learning: What is Sufficient to Learn Good Representations?},
author = {Mark Ibrahim and David Klindt and Randall Balestriero},
journal= {arXiv preprint arXiv:2406.10743},
year = {2024}
}