用梯度手术剖析不同损失函数的影响
计算机视觉与模式识别
2022-01-28 v1 人工智能
信息检索
机器学习
摘要
成对损失是一种度量学习方法，通过优化一个损失函数来学习语义嵌入，该函数促使同一语义类的图像比不同类的图像映射得更近。文献报道了越来越多且不断增长的成对损失策略变体。在此，我们将这些损失函数的梯度分解为与锚点-正样本对和锚点-负样本对相对特征位置如何被推动相关的分量。该分解使得大量现有成对损失函数得以统一。此外，显式构造成对梯度更新以分离这些效应，可深入洞察哪些效应影响最大，并导出一种简单算法，在CAR、CUB和Stanford Online Products数据集上以图像检索击败了当前最优（SOTA）。
引用
@article{arxiv.2201.11307,
title = {Dissecting the impact of different loss functions with gradient surgery},
author = {Hong Xuan and Robert Pless},
journal= {arXiv preprint arXiv:2201.11307},
year = {2022}
}