面向 Transformer 的模块感知参数高效机器遗忘
机器学习
2025-08-26 v1 人工智能
摘要
Transformer 已成为广泛应用于众多预训练大模型的基础模型，这些模型在多样化的应用场景中取得了显著成功。机器遗忘技术旨在高效移除特定数据影响，以遵循隐私法规，显示出在限制影响关键参数更新方面的潜力。然而，现有的 参数高效遗忘方法大多以模块无感方式设计，倾向于不准确地识别这些参数，导致在 Transformer 上遗忘效果不佳。本文提出 {\tt MAPE-Unlearn}，一种面向 Transformer 的模块感知参数高效机器遗忘方法，通过可学习的掩码对 Transformer 的注意力头和滤波器中的关键参数进行定位。这些掩码的学习目标源于遗忘的需求，通过一种以贪心搜索配合热启动的高效算法进行优化。在各种 Transformer 模型和数据集上的大量实验表明，{\tt MAPE-Unlearn} 在遗忘任务上有效且稳健。
关键词
引用
@article{arxiv.2508.17233,
title = {Module-Aware Parameter-Efficient Machine Unlearning on Transformers},
author = {Wenjie Bao and Jian Lou and Yuke Hu and Xiaochen Li and Zhihao Liu and Jiaqi Liu and Zhan Qin and Kui Ren},
journal= {arXiv preprint arXiv:2508.17233},
year = {2025}
}