改进基于 LoRA 的 LLM 机器遗忘中的 Fisher 信息估计与效率
机器学习
2025-09-01 v1
摘要
LLM 在各种任务中展现出了卓越的性能，但面临着无意中生成包含敏感信息输出的挑战。解决此问题的一种直接方法是在排除问题数据后重新训练模型。然而，这种方法会产生极高的计算成本。为了克服这一局限性，机器遗忘作为一种有前景的解决方案应运而生，它能够在无需从头重新训练模型的情况下有效移除敏感信息。最近，FILA 被提出作为一种参数高效的遗忘方法，它通过集成 LoRA 适配器来实现。具体而言，它计算 Fisher 信息以识别与遗忘集相关的参数，并将其分配给 LoRA 适配器进行更新。尽管其方法具有创新性，但 FILA 仍需访问所有模型参数，且未充分考虑 Fisher 信息背后的基本假设，导致重要性估计不准确。为了解决这些局限性，我们提出了 VILA，一种新颖的遗忘框架，它明确考虑了 FILA 中被忽略的假设，从而提高了遗忘集参数识别的准确性。此外，VILA 通过在无需访问整个模型的情况下进行参数识别，显著降低了计算成本。与 FILA 相比，我们的方法实现了高达 100 倍的参数效率和 40 倍的训练速度提升，并在包括 TOFU、WMDP 和 MUSE 在内的基准测试上创造了新的 SOTA 性能。我们的代码可在 https://github.com/kyj93790/VILA 获取。
引用
@article{arxiv.2508.21300,
title = {Improving Fisher Information Estimation and Efficiency for LoRA-based LLM Unlearning},
author = {Yejin Kim and Eunwon Kim and Buru Chang and Junsuk Choe},
journal= {arXiv preprint arXiv:2508.21300},
year = {2025}
}