LUME：基于多任务评估的LLM遗忘学习
计算与语言
2025-02-28 v3 机器学习
摘要
遗忘学习旨在在不进行完整重新训练的情况下，从大型语言模型（LLM）中移除受版权保护、敏感或私密内容。在本工作中，我们开发了一个多任务遗忘学习基准（LUME），包含三个任务：（1）遗忘学习合成的创意短篇小说，（2）遗忘学习包含敏感信息的合成传记，（3）遗忘学习公开传记的集合。我们进一步发布了两个微调LLM作为目标模型，参数规模分别为1B和7B。我们对多个近期提出的遗忘学习算法进行了详细评估，并在精心设计的指标上呈现结果，以理解它们的行为和局限性。
引用
@article{arxiv.2502.15097,
title = {LUME: LLM Unlearning with Multitask Evaluations},
author = {Anil Ramakrishna and Yixin Wan and Xiaomeng Jin and Kai-Wei Chang and Zhiqi Bu and Bhanukiran Vinzamuri and Volkan Cevher and Mingyi Hong and Rahul Gupta},
journal= {arXiv preprint arXiv:2502.15097},
year = {2025}
}