理解蒸馏下的BERT排序器
信息检索
2020-07-23 v1 机器学习
摘要
在大规模语料上预训练的深度语言模型如BERT，已极大提升了最先进的信息检索排序系统的性能。此类模型中嵌入的知识使它们能够捕捉段落与查询之间的复杂匹配信号。然而，推理时的高计算成本限制了它们在真实搜索场景中的部署。在本文中，我们研究BERT中用于搜索的知识是否以及如何通过蒸馏迁移到更小的排序器。我们的实验表明，使用恰当的蒸馏过程至关重要，该过程在保持SOTA性能的同时实现了高达九倍的加速。
引用
@article{arxiv.2007.11088,
title = {Understanding BERT Rankers Under Distillation},
author = {Luyu Gao and Zhuyun Dai and Jamie Callan},
journal= {arXiv preprint arXiv:2007.11088},
year = {2020}
}