排序蒸馏:为推荐系统学习高性能紧凑排序模型
机器学习
2018-09-21 v1 信息检索
机器学习
摘要
我们提出一种训练排序模型(如推荐系统)的新方法,该方法既有效又高效。知识蒸馏(KD)在图像识别中被证明能同时实现有效性与高效性。我们提出一种用于学习排序问题的 KD 技术,称为\emph{排序蒸馏(RD)}。具体而言,我们训练一个较小的学生模型,从训练数据和一个较大教师模型的监督中同时学习对文档/物品排序。学生模型达到与大型教师模型相似的排序性能,但其更小的模型尺寸使在线推理更为高效。RD 具有灵活性,因为它与教师和学生排序模型的选择正交。我们解决了 RD 用于排序问题的挑战。在公开数据集与最先进推荐模型上的实验表明,RD 实现了其设计目标:用 RD 学习的学生模型尺寸小于教师模型的一半,同时达到与教师模型相似、且远优于无 RD 学习的学生模型的排序性能。
引用
@article{arxiv.1809.07428,
title = {Ranking Distillation: Learning Compact Ranking Models With High Performance for Recommender System},
author = {Jiaxi Tang and Ke Wang},
journal= {arXiv preprint arXiv:1809.07428},
year = {2018}
}
备注
Accepted at KDD 2018