学习遗忘与保留并存：应对机器遗忘中的梯度冲突

机器遗忘最近引起了广泛关注，旨在选择性地移除与特定数据相关的知识，同时保持模型在剩余数据上的性能。该过程的一个基本挑战是平衡有效遗忘与知识保留，因为对这些竞争目标的朴素优化会导致梯度冲突，阻碍收敛并降低整体性能。为解决此问题，我们提出了“学习遗忘与保留并存”，旨在缓解遗忘与保留目标之间的梯度冲突。我们的方法通过在所提出的框架中自然产生的隐式梯度正则化机制，策略性地避免了冲突。这防止了遗忘与保留之间的梯度冲突，从而在保持模型效用的同时实现有效遗忘。我们在判别式和生成式任务中均验证了我们的方法，证明了其在实现遗忘的同时不损害剩余数据性能的有效性。我们的结果突显了避免此类梯度冲突的优势，优于未能考虑这些交互的现有方法。