Sigmoid 对比损失的全局极小值

自从在 CLIP 和 ALIGN 中引入以来，通过对比预训练获取和对齐表示的元任务正日益重要。在本文中，我们从理论上解释了在 sigmoid 损失下与可训练的逆温度和偏置同步的优势，正如 Google DeepMind 最近的 SigLIP 和 SigLIP2 模型中所实现的那样。对于一类丰富的配置，我们称之为 $(\mathsf{m}, \mathsf{b}_{\mathsf{rel}})$-Constellations，温度和偏置可以将损失函数驱动至零。$(\mathsf{m}, \mathsf{b}_{\mathsf{rel}})$-Constellations 是一种与球面编码相关的新型组合对象，由裕量 $\mathsf{m}$ 和相对偏置 $\mathsf{b}_{\mathsf{rel}}$ 参数化。我们利用对 Constellations 的刻画从理论上证明了 SigLIP 在检索任务上的成功，解释了 SigLIP 和 CLIP 中存在的模态鸿沟，并确定了产生高质量表示所需的维度。最后，我们提出了一种带有显式相对偏置的 sigmoid 损失重参数化方法，这在合成数据实验中改善了训练动态。