Adam：基于自适应暗例的稠密检索蒸馏

为提升双编码器检索器的性能，一种有效方法是从交叉编码器排序器中进行知识蒸馏。现有工作遵循监督学习设置来构建候选段落，即一个查询与一个正例段落及一批负例配对。然而，通过实证观察我们发现，即便来自先进方法的难负例对于教师模型而言仍过于简单，无法区分，阻碍了教师通过其软标签向学生传递丰富的暗知识。为缓解该问题，我们提出 ADAM，一种能够通过自适应暗例（Adaptive Dark exAMples）更好地传递教师所掌握暗知识的知识蒸馏框架。与以往仅依赖一个正例和难负例作为候选段落的工作不同，我们通过离散空间中的混合与掩码构造出与查询均具有中等相关度的暗例。此外，由于不同训练实例所蕴含知识的质量（以教师置信度分数衡量）存在差异，我们提出一种自步蒸馏策略，自适应地聚焦于高质量实例子集，以开展基于暗例的知识蒸馏，帮助学生更好地学习。我们在两个广泛使用的基准上开展实验，验证了方法的有效性。