基于定制化上下文学习的大语言模型推荐实时个性化
信息检索
2024-10-31 v1
摘要
频繁更新基于大语言模型（LLM）的推荐系统以适应新的用户兴趣——如同传统推荐系统所做的那样——由于高昂的训练成本而不切实际，即使有加速方法也是如此。本工作探索在不进行任何模型更新的情况下适应动态用户兴趣，利用上下文学习（ICL），它允许大语言模型从输入中提供的少样本示例中学习新任务。使用新兴趣示例作为 ICL 少样本示例，大语言模型可以直接学习实时兴趣，避免模型更新的需要。然而，现有的基于大语言模型的推荐器在推荐调优过程中往往会丧失上下文学习能力，而原始大语言模型的上下文学习又缺乏推荐任务的针对性。为解决这一问题，我们提出了 RecICL，它为实时推荐定制了推荐任务特定的上下文学习。RecICL 以上下文学习格式组织训练示例，确保在调优过程中上下文学习能力得以保留并与推荐任务对齐。大量实验证明了 RecICL 在无需模型更新的情况下提供实时推荐的有效性。我们的代码可在 https://github.com/ym689/rec_icl 获取。
引用
@article{arxiv.2410.23136,
title = {Real-Time Personalization for LLM-based Recommendation with Customized In-Context Learning},
author = {Keqin Bao and Ming Yan and Yang Zhang and Jizhi Zhang and Wenjie Wang and Fuli Feng and Xiangnan He},
journal= {arXiv preprint arXiv:2410.23136},
year = {2024}
}