Laser：一种用于带有协作信息的顺序推荐的参数高效 LLM 双调谐框架
信息检索
2024-09-04 v1 人工智能
摘要
顺序推荐系统对于从历史交互中辨识用户偏好并实现精准推荐至关重要。最近的创新方法利用大型语言模型（LLM）通过编码物品语义来推进该领域，但这些方法往往需要大量参数调谋且资源需求高。此外，这些工作未能考虑不同类型用户的多样性，从而削弱了推荐准确性。本文提出了一种用于带有协作信息的顺序推荐的参数高效大型语言模型双调谨框架，称为 Laser。具体而言，双调谨通过在输入序列的前缀和后缀插入可训练的虚拟标记，并冻结 LLM 参数，从而为顺序推荐优化 LLM。在我们的 Laser 中，前缀用于整合用户-物品协作信息并适配 LLM 以完成推荐任务，而后缀将 LLM 输出嵌入从语言空间转换到推荐空间，以进行后续物品推荐。此外，为了在通过前缀整合协作信息时捕获不同类型用户的特征，我们引入了 M-Former，一种轻量级基于 MoE 的查询变换器，使用一组查询专家来整合由冻结的基于 ID 的顺序推荐系统编码的多样化用户特定协作信息，从而显著提高推荐准确性。大量在真实数据集上的实验表明，Laser 可以参数高效地将 LLM 适应为有效的推荐系统，显著超过当前最先进的方法。
引用
@article{arxiv.2409.01605,
title = {Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information},
author = {Xinyu Zhang and Linmei Hu and Luhao Zhang and Dandan Song and Heyan Huang and Liqiang Nie},
journal= {arXiv preprint arXiv:2409.01605},
year = {2024}
}
备注
11 pages, 4 figures