基于大语言模型的推荐系统中增量学习的初步研究
信息检索
2024-07-31 v2
摘要
将大语言模型用于推荐（LLM4Rec）已显示出有希望的结果。然而，在真实场景中部署LLM4Rec的挑战在很大程度上仍未探索。特别是，推荐模型需要增量适应不断变化的用户偏好，而由于大语言模型（LLM）的独特特性，传统增量学习方法在LLM4Rec中的适用性仍不明确。在本研究中，我们实证评估了两种常用的增量学习策略（完全重新训练和微调）用于LLM4Rec。令人惊讶的是，两种方法都没有显著提升LLM4Rec的性能。我们并没有否定增量学习的作用，而是将缺乏预期性能提升归因于LLM4Rec架构与增量学习之间的不匹配：LLM4Rec使用单个适应模块来学习推荐，限制了其在增量学习上下文中同时捕捉长期和短期用户偏好的能力。为了验证这一推测，我们引入了一个面向LLM4Rec增量学习的长期与短期适应感知调优（LSAT）框架。与单一适应模块方法不同，LSAT利用两个不同的适应模块独立学习长期和短期用户偏好。实证结果验证了LSAT提升了性能，从而证实了我们的推测。我们在https://github.com/TianhaoShi2001/LSAT发布了代码。
引用
@article{arxiv.2312.15599,
title = {Preliminary Study on Incremental Learning for Large Language Model-based Recommender Systems},
author = {Tianhao Shi and Yang Zhang and Zhijian Xu and Chong Chen and Fuli Feng and Xiangnan He and Qi Tian},
journal= {arXiv preprint arXiv:2312.15599},
year = {2024}
}
备注
accepted in the short paper track of the 2024 ACM International Conference on Information and Knowledge Management (CIKM 2024)