SmoothI：用于可微分信息检索度量的平滑排序指示函数
信息检索
2021-05-04 v1
摘要
信息检索（IR）系统传统上旨在最大化基于排序构建的度量，例如准确率或 NDCG。然而，排序操作的非可微性阻碍了在最先进的神经 IR 模型中对此类度量的直接优化，这些模型完全依赖于计算有意义梯度的能力。为弥补这一缺陷，我们提出 SmoothI，一种排序指示函数的平滑近似，它作为设计 IR 度量可微分近似的基本构建块。我们进一步提供了关于 SmoothI 及其导出近似的理论保证，特别表明近似误差随一个类逆温度超参数呈指数下降，该超参数控制近似的质量。在四个标准学习排序数据集上进行的广泛实验验证了基于 SmoothI 的列表式损失相较于先前提出方法的功效。在基于文本的 IR 任务上使用原始 BERT 排序模型的附加实验也证实了我们的列表式方法的益处。
引用
@article{arxiv.2105.00942,
title = {SmoothI: Smooth Rank Indicators for Differentiable IR Metrics},
author = {Thibaut Thonet and Yagmur Gizem Cinar and Eric Gaussier and Minghan Li and Jean-Michel Renders},
journal= {arXiv preprint arXiv:2105.00942},
year = {2021}
}