特征归一化防止非对比学习动态的崩溃
机器学习
2025-06-12 v2 机器学习
摘要
对比学习是一种自监督表示学习框架，其中通过数据增强生成的两个正视图在数据的表示空间中被吸引力拉近，而排斥力使它们远离负例。以 BYOL 和 SimSiam 为代表的非对比学习进一步去除了负例并提高了计算效率。尽管由于缺乏排斥力，乍看之下学习到的表示可能坍缩到单个点，但 Tian 等人（2021）通过学习动态分析揭示，如果数据增强足够强于正则化，表示可以避免崩溃。然而，他们的分析未考虑常用的特征归一化（在度量表示相似性之前的归一化器），因此过强的正则化可能使动态崩溃，这是在存在特征归一化情况下的不自然行为。因此，我们通过考虑涉及特征归一化的余弦损失，基于 L2 损失扩展了先前的理论。我们表明，余弦损失引发了六阶动态（而 L2 损失引发三阶动态），其中即使给定初始参数下仅存在坍缩解，稳定平衡也会动态涌现。因此，我们提供了一种新的理解：特征归一化在鲁棒防止动态崩溃中起着重要作用。
引用
@article{arxiv.2309.16109,
title = {Feature Normalization Prevents Collapse of Non-contrastive Learning Dynamics},
author = {Han Bao},
journal= {arXiv preprint arXiv:2309.16109},
year = {2025}
}