投影头的几何学：条件、不变性与坍塌

我们通过将投影头建模为背骨表示流形上的可训练黎曼度量来发展投影头的几何理论。我们展示线性投影头执行隐式子空间白化，而非线性投影头则调整局部度量以满足损失函数的特定拓扑约束，投影头深度在实证中决定了这种能力。分析维度坍塌，我们证明光滑非线性投影头在坍塌平衡点天然产生赱值，这使其不稳定。我们通过在训练期间持续跟踪优化几何进行实证验证，发现光滑激活函数如Swish可生成显式负曲率以逃脱坍塌，而线性和ReLU投影头在连续时间梯度流下无法做到，只能依赖离散时间优化动力学和BatchNorm。最后，我们几何地刻画了度量退化如何支配信息-不变性权衡，解释为何必须丢弃投影头。在对比度和解耦合目标上评估基础模型时，我们的结果表明投影头是通用几何缓冲器，解耦语义背骨与预训练目标的刚性、破坏性约束。