超越表面遗忘：通过知识密度估计和块再插入实现彻底遗忘

机器遗忘以从预训练模型中选择性地移除有害知识而无需从头重新训练，对于解决大型语言模型（LLM）中的隐私、合规和伦理问题至关重要。然是，现有遗忘方法常难以彻底移除有害知识，残留的有害知识可被轻易恢复。为此，我们提出了知识密度引导的遗忘通过块再插入（KUnBR）——一种新方法，首先识别富含有害知识的层，然后通过再插入策略彻底消除有害知识。我们引入知识密度估计以量化和定位包含最多有害知识的层，实现精准遗忘。此外，我们设计了层再插入策略，通过提取和再插入富含有害知识的层到原始LLM中，绕过覆盖层引起的梯度阻挡，确保在遗忘期间有效的梯度传播。针对多个遗忘和通用能力基准进行大量实验表明，KUnBR在保持模型实用性的同时，实现了遗忘性能的前沿水平。