LoRA 遗忘更多且保留更多（学生摘要）
机器学习
2024-11-20 v1
摘要
由于隐私法规和合规要求日益增多，机器遗忘 (MU) 变得至关重要。遗忘的目标是从模型中移除与特定类别相关的信息。传统方法通过在剩余数据集上重新训练模型来实现精确遗忘，但会产生高昂的计算成本。这推动了更高效的遗忘技术的发展，包括模型稀疏化技术，这些技术提升了计算效率，但会降低模型在剩余类别上的性能。为了缓解这些问题，我们提出了一种新方法 PruneLoRA，引入了一种新的 MU 范式，称为“先剪枝，后适应，再遗忘”。LoRA (Hu et al. 2022) 通过对模型应用低秩更新，减少了对大规模参数更新的需求。我们利用 LoRA 选择性地修改剪枝后模型的部分参数，从而降低计算成本和内存需求，并提高模型在剩余类别上保持性能的能力。各项指标的实验结果表明，我们的方法优于其他近似 MU 方法，并弥合了精确遗忘与近似遗忘之间的差距。我们的代码可在 https://github.com/vlgiitr/LoRA-Unlearn 获取。
引用
@article{arxiv.2411.11907,
title = {LoRA Unlearns More and Retains More (Student Abstract)},
author = {Atharv Mittal},
journal= {arXiv preprint arXiv:2411.11907},
year = {2024}
}
备注
AAAI-25 Student Abstract