使用代理的无忧距离度量学习

我们探讨了距离度量学习 (DML) 问题，即学习一种与语义相似性概念一致的距离。传统上，该问题的监督信息以遵循序关系的点集形式表达——锚点 $x$ 与一组正样本点 $Y$ 相似，且与一组负样本点 $Z$ 不相似，并在这些距离上定义并最小化损失。尽管优化的具体细节有所不同，但在本文中我们将此类监督统称为 Triplets，并将遵循此模式的所有方法称为基于 Triplet 的方法。这些方法优化起来具有挑战性。一个主要问题是需要寻找信息量大的三元组，这通常通过各种技巧来实现，例如增大批大小、困难或半困难三元组挖掘等。即使采用这些技巧，此类方法的收敛速度依然缓慢。本文提议在一个不同的三元组空间上优化三元组损失，该空间由一个锚数据点以及相似和不相似的代理点组成，这些代理点也是通过学习得到的。这些代理点近似原始数据点，使得在代理点上的三元组损失是原始损失的紧上界。这种基于代理的损失在经验上表现更好。因此，该代理损失在三个标准零样本学习数据集上将当前最优结果提升了高达 15 个百分点，同时收敛速度是其他基于三元组损失的 3 倍。