对比损失与三元组损失的比较：方差分析与优化行为

对比损失和三元组损失是深度度量学习中广泛使用的目标函数，但它们对表征质量的影响仍理解不足。我们对这两种损失进行了理论和实证比较，重点关注类内和类间方差以及优化行为（例如贪婪更新）。通过在合成数据和真实数据集（MNIST、CIFAR-10）上进行任务特定实验，结果表明三元组损失在类内和类间均保留了更大的方差，支持学习表征中更细粒度的区分。相比之下，对比损失倾向于压缩类内嵌入，可能掩盖细微的语义差异。为了更好地理解其优化动态，通过考察损失衰减率、活跃比率和梯度范数，我们发现对比损失在早期驱动许多小幅更新，而三元组损失产生较少但更强的更新，在难样本上持续学习。最后，在MNIST、CIFAR-10、CUB-200和CARS196数据集上的分类和检索任务中，我们的结果一致表明三元组损失取得了更优性能，这表明应使用三元组损失进行细节保留和难样本聚焦，使用对比损失进行更平滑、广泛基础的嵌入精炼。