迈向高效且有效的大语言模型推荐系统遗忘
信息检索
2024-07-02 v2 人工智能
摘要
大语言模型 (LLMs) 的显著进展催生了一个充满希望的研究方向，即利用 LLMs 作为推荐器 (LLMRec)。LLMRec 的有效性源于 LLMs 固有的开放世界知识和推理能力。LLMRec 通过基于用户交互数据的指令微调获得推荐能力。然而，为了保护用户隐私并优化效用，LLMRec 有意识地遗忘特定用户数据也至关重要，这通常被称为推荐遗忘。在 LLM 时代，推荐遗忘给 LLMRec 带来了效率低下和效果不佳的新挑战。现有的遗忘方法需要更新 LLMRec 中的数十亿参数，成本高昂且耗时。此外，它们在遗忘过程中总是会影响模型效用。为此，我们提出了 E2URec，这是首个用于 LLMRec 的高效且有效的遗忘方法。我们提出的 E2URec 通过仅更新少量额外的 LoRA 参数来提高遗忘效率，并通过采用教师 - 学生框架来提高遗忘效果，其中我们维护多个教师网络来指导遗忘过程。大量实验表明，E2URec 在两个真实世界数据集上优于最先进的基线方法。具体而言，E2URec 能够高效地遗忘特定数据而不影响推荐性能。源代码位于 \url{https://github.com/justarter/E2URec}。
引用
@article{arxiv.2403.03536,
title = {Towards Efficient and Effective Unlearning of Large Language Models for Recommendation},
author = {Hangyu Wang and Jianghao Lin and Bo Chen and Yang Yang and Ruiming Tang and Weinan Zhang and Yong Yu},
journal= {arXiv preprint arXiv:2403.03536},
year = {2024}
}
备注
Accepted by Frontier of Computer Science