MUNBa: 基于纳什议价的机器无学习

机器无学习 (Machine Unlearning, MU) 旨在在保留模型整体效用的前提下选择性地擦除有害行为。作为一个多任务学习问题，MU涉及到关于忘却特定概念/数据和保持通用性能的目标之间的平衡。将这些忘却和保持目标进行单纯集成可能导致梯度冲突和主导问题，阻碍MU算法达到最优解。为解决梯度冲突和主导问题，我们将MU重新表述为一个两人合作游戏，其中两个玩家即忘却玩家和保持玩家，通过其梯度提案来最大化整体收益并平衡各自贡献。因此，灵感来自纳什议价理论，我们推导出一个闭式解，以引导模型走向帕累托稳定点。我们的MU形式保证了平衡解，其中任何偏离最终状态的行为都会导致两个玩家整体目标的减少，确保每个目标的最优性。我们在图像分类和图像生成任务上对算法的有效性进行了评估。基于ResNet、视觉语言模型CLIP和文本到图像扩散模型的大量实验表明，我们的方法在与SOTA MU算法比较时表现更佳，在忘却与保持之间实现了更好的权衡。我们的结果还显示在忘却精度、保留泛化性以及对对抗攻击的鲁棒性方面都有所提高。