在 TF-Ranking 中使用 BERT 进行排序学习
信息检索
2020-06-11 v3
摘要
本文描述了一种用于文档（重）排序的机器学习算法，其中首先使用 BERT [1] 对查询和文档进行编码，然后在此基础上应用由 TF-Ranking (TFR) [2] 构建的排序学习 (LTR) 模型，以进一步优化排序性能。该方法在公开的 MS MARCO 基准测试 [3] 中被证明是有效的。截至 2020 年 4 月 10 日，我们的前两次提交在段落重排序任务 [4] 中取得了最佳性能，在段落全排序任务 [5] 中取得了第二好的性能。为了利用预训练语言模型的最新发展，我们近期整合了 RoBERTa [6] 和 ELECTRA [7]。截至 2020 年 6 月 8 日，我们最新的提交将先前最先进的重排序性能提升了 4.3% [8]，并在全排序任务 [9] 中取得了第三好的性能。这两者都证明了将排序损失与 BERT 表示相结合用于文档排序的有效性。
引用
@article{arxiv.2004.08476,
title = {Learning-to-Rank with BERT in TF-Ranking},
author = {Shuguang Han and Xuanhui Wang and Mike Bendersky and Marc Najork},
journal= {arXiv preprint arXiv:2004.08476},
year = {2020}
}
备注
6 pages, 1 figure, 2 tables