通过无损知识蒸馏改进神经排序
信息检索
2022-04-07 v2
摘要
我们探索了用于学习排序（LTR）的知识蒸馏（KD）的新视角，并引入了自蒸馏神经排序器（SDR），其中学生排序器与其教师排序器参数完全相同。与现有追求性能与效率之间良好权衡的排序蒸馏工作不同，SDR能够显著提升学生排序器相对于教师排序器的排序性能，而无需增加模型容量。SDR的成功关键因素（不同于常见的分类蒸馏技术）在于：（1）合适的教师分数变换函数；（2）一种新颖的列表式蒸馏框架。这两种技术均为专门针对排序问题设计，在现有知识蒸馏文献中鲜有研究。基于最先进的神经排序结构，SDR能够将神经排序性能推向超越近期一项严格基准研究的上限，并在9项关键指标中的7项上显著优于传统的强梯度提升决策树模型，这在文献中尚属首次。除强劲的实证结果外，我们从理论上解释了列表式蒸馏对神经排序器有效的原因，并提供了消融实验以验证SDR框架中关键因素必要性。
引用
@article{arxiv.2109.15285,
title = {Improving Neural Ranking via Lossless Knowledge Distillation},
author = {Zhen Qin and Le Yan and Yi Tay and Honglei Zhuang and Xuanhui Wang and Michael Bendersky and Marc Najork},
journal= {arXiv preprint arXiv:2109.15285},
year = {2022}
}
备注
15 pages