注意力平滑是你需要的全部：用于忘却的注意力平滑方法
机器学习
2026-03-03 v1 人工智能
计算与语言
摘要
大型语言模型容易记忆敏感、版权受保护或有害内容，带来显著的隐私和法律顾虑。从头重新训练在计算上不可行，而现有的忘却方法在忘记与实用性之间表现出不稳定的权衡，经常产生对忘却提示不连贯的输出，并因注意力中的词汇级和语义级关联而难以泛化。我们提出注意力平滑忘却（Attention Smoothing Unlearning, ASU），一种原则化的框架，将忘却建模为从由模型自身注意力生成的忘教师进行的自蒸馏。通过增加softmax温度，ASU平滑注意力分布，直接抑制负责重建记忆知识的词汇级和语义级关联。结果是一个受限的优化目标，擦除事实信息但保持对忘却提示的响应连贯性。在TOFU、MUSE和WMDP上的经验评估，以及在问答和文本完成中的实际场景和持续忘却场景中，表明ASU在大多数忘却场景中优于基线，提供鲁棒的忘却，同时最小化模型实用性的损失。
引用
@article{arxiv.2603.01285,
title = {Attention Smoothing Is All You Need For Unlearning},
author = {Saleh Zare Zade and Xiangyu Zhou and Sijia Liu and Dongxiao Zhu},
journal= {arXiv preprint arXiv:2603.01285},
year = {2026}
}
备注
Accepted by ICLR 2026