面向 LLM 基于生成的推荐系统的持续低秩适配器
机器学习
2026-03-19 v3 信息检索
摘要
虽然大语言模型(LLM)在推荐领域取得了优异性能，但在用户、物品及用户偏好随时间演变的持续学习场景中面临挑战。现有基于 LoRA 的持续方法主要关注保留先前任务的性能，忽视了推荐的独特本质：目标并非预测过去的偏好，过时的偏好在当前兴趣显著变化时反而会损害性能。为此，我们提出 PESO (Proximally rEgularized Single evolving lOra)，一种针对 LLM 推荐系统的持续适配方法。PESO 引入一个近似正则化，将当前适配器锚定于其最 recent frozen 状态，实现适应性保留与保护的灵活平衡，更好地捕捉最新用户行为。理论上，我们展示该近似设计在 LoRA 子空间中提供数据感知、方向感知的指导。实证上，PESO 在所有基于 LoRA 的持续学习方法中 consistently 均表现出优异性能。
引用
@article{arxiv.2510.25093,
title = {Continual Low-Rank Adapters for LLM-based Generative Recommender Systems},
author = {Hyunsik Yoo and Ting-Wei Li and SeongKu Kang and Zhining Liu and Charlie Xu and Qilin Qi and Hanghang Tong},
journal= {arXiv preprint arXiv:2510.25093},
year = {2026}
}