基于排序的损失函数的高效优化
计算机视觉与模式识别
2018-03-01 v3
摘要
信息检索系统的准确性通常使用复杂的损失函数来衡量，例如平均精度（AP）或归一化折损累计增益（NDCG）。给定一组正样本和负样本，检索系统的参数可以通过最小化这些损失函数来估计。然而，这些损失函数的不可微性和不可分解性不允许使用简单的基于梯度的优化算法。该问题通常通过优化损失函数的结构化铰链损失上界或使用诸如直接损失最小化框架的渐近方法来规避。然而，对于这两种框架都必需的损失增强推断的高计算复杂度，阻碍了其在大型训练数据集中的使用。为缓解此缺陷，我们提出一种针对大类不可分解损失函数的新型类快速排序算法。我们给出了适用于我们算法的损失函数的完整刻画，并表明其包含基于AP和NDCG的损失函数。此外，我们证明任何基于比较的算法都无法在渐近意义上改进我们方法的计算复杂度。我们在优化AP和NDCG损失的结构化铰链损失上界以学习多种视觉任务模型的背景下，展示了我们方法的有效性。我们表明，与更简单的可分解损失函数相比，我们的方法提供了显著更好的结果，同时需要相当的训练时间。
引用
@article{arxiv.1604.08269,
title = {Efficient Optimization for Rank-based Loss Functions},
author = {Pritish Mohapatra and Michal Rolinek and C. V. Jawahar and Vladimir Kolmogorov and M. Pawan Kumar},
journal= {arXiv preprint arXiv:1604.08269},
year = {2018}
}
备注
15 pages, 2 figures