DE-RRD：一种面向推荐系统的知识蒸馏框架
机器学习
2020-12-09 v1 信息检索
摘要
近期的推荐系统已开始采用知识蒸馏——一种将知识从笨重模型（教师）蒸馏到紧凑模型（学生）的模型压缩技术——以降低推理延迟同时保持性能。最先进的方法仅关注使学生模型准确模仿教师模型的预测。它们的局限在于预测结果未能完整揭示教师的知识。本文中，我们提出一种新颖的面向推荐系统的知识蒸馏框架，称为DE-RRD，其使学生模型既能从教师模型编码的潜在知识中学习，也能从教师的预测中学习。具体而言，DE-RRD由两种方法组成：1) 蒸馏专家(DE)，直接迁移教师模型的潜在知识。DE利用“专家”及一种新颖的专家选择策略，将海量教师知识有效蒸馏到容量有限的学生模型。2) 松弛排序蒸馏(RRD)，在考虑物品间松弛排序关系的前提下，迁移从教师预测中揭示的知识。我们的大量实验表明，DE-RRD优于最先进的对比方法，并以更快的推理时间取得与教师模型相当甚至更优的性能。
引用
@article{arxiv.2012.04357,
title = {DE-RRD: A Knowledge Distillation Framework for Recommender System},
author = {SeongKu Kang and Junyoung Hwang and Wonbin Kweon and Hwanjo Yu},
journal= {arXiv preprint arXiv:2012.04357},
year = {2020}
}