面向长文档检索的细粒度蒸馏

长文档检索旨在从大规模集合中获取与查询相关的文档，其中知识蒸馏已成为通过模仿异构但强大的交叉编码器来改进检索器的事实标准。然而，与段落或句子不同，长文档上的检索受到范围假设的困扰，即长文档可能涵盖多个主题。这最大化了它们的结构异构性，并引发了粒度不匹配问题，导致蒸馏效果不佳。在这项工作中，我们提出了一种用于长文档检索器的新学习框架，即细粒度蒸馏（FGD）。在保留传统稠密检索范式的同时，它首先生成跨越不同细粒度的全局一致表示，然后仅在训练期间应用多粒度对齐蒸馏。在实验中，我们在两个长文档检索基准上评估了我们的框架，结果显示其达到了最先进的性能。