稀疏感知无监督学习：基于梯度遮蔽与重要性重分配的 LLM 方法
机器学习
2026-04-02 v3
摘要
大型语言模型 (LLM) 在训练过程中不可避免地会记忆敏感信息，这构成了显著的隐私风险。机器无学习已被证明是一种有前景的解决方案，用于在不进行完整重新训练的情况下选择性地移除此类信息。然而，现有方法是为稠密模型设计的，忽略了稀疏化这一高效部署 LLM 的关键技术。我们发现，稀疏模型上的无学习效果显著下降。通过经验分析，我们揭示了这种下降是由于现有无学习方法需要更新所有参数，而稀疏化会将大量权重剪枝为零，从而根本限制了模型的遗忘能力。为解决这一挑战，我们提出了稀疏感知无学习 (SAU)，通过梯度遮蔽将更新重定向到存活权重，并结合重要性感知的重分配来弥补被剪枝参数的不足。广泛的实验表明，SAU 在稀疏 LLM 上显著优于现有方法，实现了有效的遗忘，同时保持了模型实用性。
引用
@article{arxiv.2602.00577,
title = {SAU: Sparsity-Aware Unlearning for LLMs via Gradient Masking and Importance Redistribution},
author = {Yuze Wang and Yujia Tong and Xuan Liu and Junhao Dong},
journal= {arXiv preprint arXiv:2602.00577},
year = {2026}
}