RocketQAv2：一种用于稠密段落检索与段落重排序的联合训练方法

在众多自然语言处理任务中，段落检索和段落重排序是查找和排序相关信息的两项关键程序。由于这两个程序都对最终性能有贡献，因此联合优化它们以实现相互提升至关重要。在本文中，我们提出了一种新颖的稠密段落检索与段落重排序联合训练方法。一个主要贡献是我们引入了动态列表式蒸馏，其中我们为检索器和重排序器设计了一个统一的列表式训练方法。在动态蒸馏过程中，检索器和重排序器可以根据彼此的相关性信息进行自适应改进。我们还提出了一种混合数据增强策略，为列表式训练方法构建多样化的训练实例。在MSMARCO和Natural Questions数据集上的大量实验证明了我们方法的有效性。我们的代码可在https://github.com/PaddlePaddle/RocketQA获取。