基于大语言模型的推荐中的精确高效遗忘
信息检索
2024-04-19 v1
摘要
基于大语言模型的推荐（LLMRec）的演变范式通过参数高效微调（PEFT）使用推荐数据定制大语言模型（LLMs）。用户数据包含在LLMs中引发了隐私问题。为了保护用户，LLMRec中的遗忘过程，特别是从已建立的LLMRec模型中移除不可用数据（例如历史行为），变得至关重要。然而，现有的遗忘方法对于LLM-Rec的独特特征不足，主要是由于高计算成本或数据擦除不完整。在本研究中，我们引入了适配器分区与聚合（APA）框架，用于精确且高效的遗忘，同时保持推荐性能。APA通过为分区训练数据分片建立不同的适配器，并仅重新训练受不可用数据影响的适配器来实现遗忘。为了保持推荐性能并减轻显著的推理成本，APA采用参数级适配器聚合，对单个测试样本进行样本自适应注意力。大量实验证明了我们提出框架的有效性和效率。
引用
@article{arxiv.2404.10327,
title = {Exact and Efficient Unlearning for Large Language Model-based Recommendation},
author = {Zhiyu Hu and Yang Zhang and Minghao Xiao and Wenjie Wang and Fuli Feng and Xiangnan He},
journal= {arXiv preprint arXiv:2404.10327},
year = {2024}
}