论自监督学习中嵌入范数的重要性
机器学习
2025-06-12 v2
摘要
自监督学习（SSL）允许在无监督信号的情况下训练数据表示，已成为机器学习中的重要范式。大多数 SSL 方法使用嵌入向量间的余弦相似度，因此实际上将数据嵌入到超球面上。虽然这似乎意味着嵌入范数在 SSL 中不起任何作用，但近期一些研究表明嵌入范数具有与网络收敛和置信度相关的特性。本文解决了这一明显的矛盾，并系统地确立了嵌入范数在 SSL 训练中的作用。通过理论分析、模拟和实验，我们表明嵌入范数 (i) 支配着 SSL 的收敛速度，(ii) 编码了网络置信度，较小的范数对应于非预期样本。此外，我们还表明操纵嵌入范数会对收敛速度产生巨大影响。我们的发现证明，SSL 嵌入范数是理解和优化网络行为不可或缺的一部分。
引用
@article{arxiv.2502.09252,
title = {On the Importance of Embedding Norms in Self-Supervised Learning},
author = {Andrew Draganov and Sharvaree Vadgama and Sebastian Damrich and Jan Niklas Böhm and Lucas Maes and Dmitry Kobak and Erik Bekkers},
journal= {arXiv preprint arXiv:2502.09252},
year = {2025}
}