用你所评估的指标来优化：一个简单而有效的信息检索指标直接优化框架
信息检索
2020-09-01 v1
摘要
排序学习已被深入研究，并在广泛领域中展现出显著增长的价值。排序学习方法的性能通常使用对排序敏感的指标进行评估，例如平均精度（AP）和归一化折损累计增益（nDCG）。遗憾的是，如何有效优化对排序敏感的目标函数远未解决，这是十多年前排序学习诞生以来的一个开放问题。本文中，我们引入一个简单而有效的框架，用于直接优化信息检索（IR）指标。具体而言，我们提出一种新颖的双 sigmoid 函数，用于在优化过程中推导文档的精确排序位置，而非使用近似排序位置或依赖传统排序算法。得益于此，排序位置可微，使我们能够将广泛使用的 IR 指标重新表述为可微形式并基于神经网络直接优化它们。此外，通过对梯度进行深入分析，我们指出了基于原始 sigmoid 直接优化 IR 指标所固有的潜在局限。为突破这些局限，我们提出通过显式修改梯度计算的不同策略。为验证所提直接优化 IR 指标框架的有效性，我们在广泛使用的基准数据集 MSLRWEB30K 上开展了一系列实验。
引用
@article{arxiv.2008.13373,
title = {Optimize What You Evaluate With: A Simple Yet Effective Framework For Direct Optimization Of IR Metrics},
author = {Hai-Tao Yu},
journal= {arXiv preprint arXiv:2008.13373},
year = {2020}
}