使用紧密耦合教师蒸馏稠密表示用于排序
信息检索
2020-10-23 v1 计算与语言
摘要
我们提出一种使用稠密表示进行排序的方法,应用知识蒸馏来改进最近提出的后期交互 ColBERT 模型。具体而言,我们将 ColBERT 用于计算相关性分数的富有表现力的 MaxSim 算子的知识蒸馏为一个简单的点积,从而实现单步 ANN 搜索。我们的核心见解是,在蒸馏过程中,教师模型与学生模型之间的紧密耦合可实现更灵活的蒸馏策略,并产生更好的学习表示。我们凭经验表明,我们的方法改善了查询延迟,并大大减少了 ColBERT 繁重的存储需求,同时仅在效果上做出适度牺牲。通过将我们的稠密表示与源自文档扩展的稀疏表示相结合,我们能够逼近使用 BERT 的标准交叉编码器重排序器的效果,而后者要慢几个数量级。
引用
@article{arxiv.2010.11386,
title = {Distilling Dense Representations for Ranking using Tightly-Coupled Teachers},
author = {Sheng-Chieh Lin and Jheng-Hong Yang and Jimmy Lin},
journal= {arXiv preprint arXiv:2010.11386},
year = {2020}
}