利用双排序器与多教师蒸馏改进双编码器文档排序模型

基于 BERT 的神经排序模型（NRMs）可根据查询与文档经 BERT 自注意力层编码方式的不同分为两类——双编码器与交叉编码器。双编码器模型效率极高，因为所有文档均可在查询前预处理，但其性能劣于交叉编码器模型。两类模型均使用一个排序器，以 BERT 表示为输入、输出相关性分数。本文提出一种方法，将多教师蒸馏应用于交叉编码器 NRM 与双编码器 NRM，从而得到一个带有两个排序器的双编码器 NRM。所得学生双编码器通过同时向交叉编码器教师和双编码器教师学习，并融合两个排序器的相关性分数，实现了性能提升。我们称该方法为 TRMD（Two Rankers and Multi-teacher Distillation，双排序器与多教师蒸馏）。实验中，以 TwinBERT 和 ColBERT 作为基线双编码器。当使用 monoBERT 作为交叉编码器教师，并搭配 TwinBERT 或 ColBERT 之一作为双编码器教师时，TRMD 生成的学生双编码器均优于相应基线双编码器。对于 P@20，最大提升为 11.4%，平均提升为 6.8%。作为附加实验，我们考虑用 TRMD 生成交叉编码器学生，发现其同样可改进交叉编码器。