通过正交原型防止对比学习中的崩塌（CLOP）

对比学习已成为深度学习中的强大方法，能够通过对比来自不同分布的样本来学习有效的表示。然而，嵌入收敛到低维空间的神经崩溃（neural collapse）在半监督和自监督设置中是一个重大挑战。 本文首先理论分析了大学习率对仅依赖余弦相似度度量的对比损失的影响，并推导出一种缓解此崩溃的理论界限。 {基于这些洞见，我们提出了 CLOP，一种新的半监督损失函数，旨在通过促进类别嵌入之间正交线性子空间的形成来防止神经崩溃。} 与先前那些强加 simplex ETF 结构的方法不同，CLOP 关注子空间间的分离，导致更易区分的嵌入。 通过在真实和合成数据集上的大量实验，我们展示了 CLOP 提升了性能，能够在不同的学习率和批量大小下提供更大的稳定性。