生成模型一次性遗忘的梯度手术

近期关于被遗忘权的规定引发了大量对遗忘预训练机器学习模型的兴趣。在近似从零重训这一直接但代价高昂的方法时，近期的机器遗忘方法通过更新权重以消除样本对权重参数的影响来遗忘样本。在本文中，我们引入一种简单而有效的方法，以消除数据对深度生成模型的影响。受多任务学习工作的启发，我们提出操纵梯度，通过将梯度投影到待保留梯度的法平面上，来正则化样本间影响的相互作用。我们的工作与移除样本的统计特性无关，优于现有基线，同时首次在生成模型遗忘中提供理论分析。