理解BERT在排序中的行为

Yifan Qiao; Chenyan Xiong; Zhenghao Liu; Zhiyuan Liu

理解BERT在排序中的行为

信息检索 2019-04-29 v4 计算与语言

作者: Yifan Qiao , Chenyan Xiong , Zhenghao Liu , Zhiyuan Liu

摘要

本文研究BERT在排序任务中的性能与行为。我们探索了几种不同的方法来利用预训练BERT，并在两个排序任务上对其进行微调：MS MARCO段落重排序和TREC Web Track ad hoc文档排序。MS MARCO上的实验结果表明BERT在以问答为中心的段落排序任务中具有很强的有效性，且BERT是一个基于交互的seq2seq匹配模型。TREC上的实验结果显示了预训练于上下文环境的BERT与ad hoc文档排序需求之间的差距。分析阐明了BERT如何在其Transformer层中分配查询-文档词元间的注意力，它如何偏好释义词元间的语义匹配，以及这与点击训练的神经排序器学到的软匹配模式有何不同。

关键词

BERT 排序段落重排序文档排序 Transformer 神经排序器注意力分析

引用

@article{arxiv.1904.07531,
  title  = {Understanding the Behaviors of BERT in Ranking},
  author = {Yifan Qiao and Chenyan Xiong and Zhenghao Liu and Zhiyuan Liu},
  journal= {arXiv preprint arXiv:1904.07531},
  year   = {2019}
}

备注

There is an error in Table 1 and we will update them to correct results. Please refer to MS MARCO Leaderboard for the actually evaluation results

理解BERT在排序中的行为

摘要

关键词

引用

备注

相关论文