面向端云推荐的大型语言模型与小型推荐模型协同
信息检索
2025-02-26 v2 人工智能
计算与语言
分布式、并行与集群计算
摘要
面向推荐的大型语言模型（LLM4Rec）是一个极具前景的研究方向，已在该领域展现出卓越性能。然而，其无法捕捉实时用户偏好极大地限制了 LLM4Rec 的实际应用，因为 (i) LLM 的频繁训练和推理成本高昂，且 (ii) LLM 难以访问实时数据（其庞大的参数量构成了部署在端设备上的障碍）。幸运的是，小型推荐模型（SRM）可以通过消耗极少的资源进行频繁训练和推理，并方便地在端设备上访问实时数据，从而有效弥补 LLM4Rec 方案的这些缺陷。鉴于此，我们在端云协同场景下设计了端云 LLM-SRM 协同推荐框架（LSC4Rec）。LSC4Rec 旨在整合 LLM 和 SRM 的优势，以及云计算和边缘计算的益处，实现互补协同。我们通过设计三种策略提升了 LSC4Rec 的实用性：协同训练、协同推理和智能请求。在训练阶段，LLM 生成候选列表以增强 SRM 在协同场景中的排序能力，并使 SRM 能够自适应更新以捕捉实时用户兴趣。在推理阶段，LLM 和 SRM 分别部署在云端和端设备上。LLM 根据用户行为生成候选列表和初始排序结果，SRM 基于候选列表获得重排序结果，最终结果整合 LLM 和 SRM 的分数。端设备通过比较 LLM 和 SRM 排序列表的一致性来决定是否需要新的候选列表。我们全面且广泛的实验分析验证了 LSC4Rec 中各项策略的有效性。
引用
@article{arxiv.2501.05647,
title = {Collaboration of Large Language Models and Small Recommendation Models for Device-Cloud Recommendation},
author = {Zheqi Lv and Tianyu Zhan and Wenjie Wang and Xinyu Lin and Shengyu Zhang and Wenqiao Zhang and Jiwei Li and Kun Kuang and Fei Wu},
journal= {arXiv preprint arXiv:2501.05647},
year = {2025}
}
备注
Published on KDD'25: Proceedings of the ACM SIGKDD Conference on Knowledge Discovery and Data Mining 2025