通过纠缠引导与代理约束缓解 LLM 无记忆中的过度遗忘
机器学习
2026-01-13 v2 人工智能
摘要
大型语言模型 (LLM) 在包含私有或受版权保护内容的大规模数据集上进行训练。由于日益增长的隐私和所有权关注，数据所有者可能要求从训练好的模型中移除其数据。机器无记忆通过在不进行完整重新训练的情况下移除特定数据的影响，提供了实用的解决方案。然而，大多数现有方法仍因缺乏原则机制来规范遗忘边界而导致过度遗忘，引起不必要的实用性降低和提高隐私和鲁棒性风险。本文提出一种新框架 EGUP (基于纠缠引导的无记忆带代理约束)，该框架利用纠缠和代理约束指导无记忆过程，以缓解过度遗忘。在每个迭代过程中，EGUP 利用样本间纠缠自适应重加权无记忆强度，将对与保留知识语义上更接近的遗忘样本分配更大的无记忆 effort。跨迭代过程中，EGUP 利用样本内纠缠跟踪每个遗忘样本的表示偏移，并动态调整其无记忆 effort。此外，我们引入代理约束，模拟无记忆后的模型预期输出，形成一个软性正则化无记忆过程的参考边界。EGUP 与现有基于梯度的目标兼容，可作为即插即用的增强。我们在 TOFU 和 MUSE 基准测试上评估了 EGUP，证明其在多个 LLM 上在无记忆-实用性权衡方面实现持续改进。此外，EGUP 在保持可扩展性和鲁棒性的同时，实现了接近重新训练模型的性能。
引用
@article{arxiv.2508.20443,
title = {Towards Mitigating Excessive Forgetting in LLM Unlearning via Entanglement-Guidance with Proxy Constraint},
author = {Zhihao Liu and Jian Lou and Yuke Hu and Xiaochen Li and Yitian Chen and Tailun Chen and Zhizhen Qin and Kui Ren and Zhan Qin},
journal= {arXiv preprint arXiv:2508.20443},
year = {2026}
}