玛特熊丘重排器：一种可配置深度与宽度的灵活重排架构

大语言模型（LLM）为进行精细的文本重排提供了强大的基础，但由于计算带宽限制，往往难以在实际中应用。本文提出一种名为"玛特熊丘重排器"（Matryoshka Re-Ranker）的灵活架构，旨在根据用户配置实现模型层数和序列长度的运行时定制。因此，可以将基于 LLM 的重排器应用于各种实际场景。这种灵活性可能以精度损失的代价。为解决此问题，我们引入一套技术措施来优化性能。首先，我们提出级联自蒸馏机制，每个子架构学习保留来自其上级组件的精确重排性能，其预测可作为光滑且信息丰富的教师信号。其次，我们设计了因子化补偿机制，联合运用两种协作式低秩适应模块（垂直和水平），以补偿任意组合层和序列压缩导致的精度损失。我们基于来自 MSMARCO 的段落和文档检索数据集，以及 BEIR 基准的所有公开数据集进行了全面实验。在实验中，玛特熊丘重排器在各种压缩形式和不同应用场景下均显著优于现有方法，同时有效保持其卓越的性能。