面向推荐系统的拓扑蒸馏

推荐系统（RS）已采用知识蒸馏这一模型压缩技术，通过从预训练的大型教师模型迁移知识来训练紧凑的学生模型。近期工作表明，从教师模型的中间层迁移知识能显著提升学生的推荐质量。然而，它们以点方式迁移个体表示的知识，因而存在局限：RS 的主要信息在于表示空间中的关系。本文提出一种新的拓扑蒸馏方法，通过迁移教师空间中基于关系建立的拓扑结构来引导学生。我们首先观察到，简单地让学生学习整个拓扑结构并非总是有效，甚至会劣化学生性能。我们论证，由于学生容量相较教师高度受限，学习整个拓扑结构对学生而言过于艰巨。为解决此问题，我们提出一种名为分层拓扑蒸馏（HTD）的新方法，分层蒸馏拓扑以应对巨大的容量差距。我们在真实数据集上的大量实验表明，所提方法显著优于最先进的竞争对手。我们还提供了深入分析以确认对 RS 蒸馏拓扑的益处。