探索多阶段微调在跨编码器重排序器中的有效性

领先的跨编码器可以在 passages 重排序方面进行高度有效的微调。跨编码器作为重排序器的典型微调过程需要大量手动标注数据、对比学习目标，以及一组启发式抽样的负样本。一种近期替代方法是通过蒸馏目标教模型模仿高度有效大语言模型的排序。这些微调策略可以单独应用，也可以依次应用。本文系统性地研究了在单阶段独立微调或两阶段依次微调的情况下，点评分跨编码器的有效性。我们的实验表明，使用对比学习进行微调的点评分跨编码器的有效性确实与多阶段方法微调的模型相当。代码已在 https://github.com/fpezzuti/multistage-finetuning 提供，可复现。