蒸馏决定：通过知识蒸馏提升顺序推荐模型以匹配大语言模型性能
信息检索
2024-08-21 v3
摘要
大语言模型（LLM）因其强大的语义推理能力而被有效地用作推荐系统，取得了令人印象的性能。然而，LLM 的高推理延迟显著限制了其实际部署。为解决这一问题，本文研究了从笨重的 LLM 基于推荐模型向轻量级常规顺序模型进行知识蒸馏的挑战。其面临三个挑战：1）教师的知识可能并不总是可靠；2）教师与学生之间的能力差距使学生难以吸收教师的知识；3）语义空间中的差异构成了从嵌入中蒸馏知识的挑战。为解决这些挑战，本文提出一种新颖的蒸馏策略，DLLM2Rec，专为从 LLM 基于推荐模型蒸馏知识至常规顺序模型而设计。DLLM2Rec 包括：1）重要性感知排序蒸馏，通过根据教师置信度和学生-教师一致性对实例进行加权，以过滤可靠且学生友好的知识；2）协同嵌入蒸馏整合来自教师嵌入与从数据中矿掘的协同信号。广泛的实验表明，所提出的 DLLM2Rec有效果提升，平均提升三个典型顺序模型 47.97%，甚至在某些情况下超越 LLM 基于的推荐模型。
引用
@article{arxiv.2405.00338,
title = {Distillation Matters: Empowering Sequential Recommenders to Match the Performance of Large Language Model},
author = {Yu Cui and Feng Liu and Pengbo Wang and Bohao Wang and Heng Tang and Yi Wan and Jun Wang and Jiawei Chen},
journal= {arXiv preprint arXiv:2405.00338},
year = {2024}
}
备注
11 pages, 2 figures