基于自监督知识蒸馏的端侧下一项推荐
信息检索
2022-04-26 v1
摘要
现代推荐系统以完全基于服务器的模式运行。为满足数百万用户的需求，需要进行频繁的模型维护并对并发用户请求进行高速处理，这以巨大的碳足迹为代价。同时，用户需要将其行为数据甚至包括即时环境上下文上传至服务器，引发了公众对隐私的担忧。端侧推荐系统以注重成本的设置和本地推理规避了这两个问题。然而，由于内存和计算资源有限，端侧推荐系统面临两个基本挑战：(1) 如何缩减常规模型规模以适应边缘设备？(2) 如何保留原有能力？以往研究多采用张量分解技术压缩常规推荐模型，为避免严重的性能下降，压缩比有限。本文通过放宽张量分解中维度一致性的约束，探索用于下一项推荐的超紧凑模型。同时，为补偿压缩带来的容量损失，我们提出了一种自监督知识蒸馏框架，使压缩模型（学生）能够从原始数据中蒸馏出关键信息，并通过与原模型（教师）的嵌入重组策略改善长尾物品推荐。在两个基准数据集上的大量实验表明，在模型尺寸缩减 30 倍的情况下，压缩模型几乎无精度损失，且在大多数情况下优于其未压缩的对应模型。
引用
@article{arxiv.2204.11091,
title = {On-Device Next-Item Recommendation with Self-Supervised Knowledge Distillation},
author = {Xin Xia and Hongzhi Yin and Junliang Yu and Qinyong Wang and Guandong Xu and Nguyen Quoc Viet Hung},
journal= {arXiv preprint arXiv:2204.11091},
year = {2022}
}
备注
To Appear in SIGIR'22