对比损失简单有效的平衡方法

对比损失长期以来一直是深度度量学习的关键要素，并且由于自监督学习的成功，现在正变得越来越流行。最近的研究表明，将此类损失分解为两个子损失是有益的，这两个子损失在学习表示网络时以互补的方式起作用：一个正项和一个熵项。尽管总体损失由此定义为两项之和，但这两项的平衡常常隐藏在实现细节背后，并且在实践中被 largely 忽视且处于次优状态。在这项工作中，我们将对比损失的平衡视为超参数优化问题，并提出了一种基于坐标下降的搜索方法，该方法能高效地找到优化评估性能的超参数。在此过程中，我们将现有的平衡分析扩展到对比边界损失，将批量大小纳入平衡，并解释了如何聚合来自批量的损失元素以在更大的批量大小范围内保持近最优性能。在深度度量学习和自监督学习的基准上进行的大量实验表明，与其他常见搜索方法相比，我们的方法能更快地找到最优超参数。