DualOptim+：桥接共享与解耦优化器状态以提升大型语言模型的机器遗忘
机器学习
2026-05-22 v1
摘要
我们提出DualOptim+，一种用于改进大型语言模型机器遗忘的新型优化框架。它引入一个 base state 来捕获忘记目标与保留目标共享的表征，以及 delta states 来保留目标特定的残差。这种架构允许优化器根据忘记梯度与保留梯度之间的方向冲突，自适应地桥接共享状态和解耦状态。我们进一步引入DualOptim+ 8bit，一种量化变体，在不损失性能的前提下降低了内存开销。广泛的实验在虚构和现实世界的遗忘、安全对齐和多任务学习任务上都表明，DualOptim+在不同目标之间始终实现了优越的权衡。代码已在https://github.com/CityU-MLO/DualOptimPlus上发布。
引用
@article{arxiv.2605.21539,
title = {DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models},
author = {Xuyang Zhong and Qizhang Li and Yiwen Guo and Chen Liu},
journal= {arXiv preprint arXiv:2605.21539},
year = {2026}
}
备注
Accepted by ICML 2026