向下还是倒流？随机梯度下降忘却

机器忘却算法旨在在不重新从头训练的前提下从模型中移除特定训练数据的影响。两种此类算法包括“删除梯度” (D2D) 和“删除倒流” (R2D)，它们是全批次梯度下降算法，易于实现且满足可证明的忘却保证。特别是，D2D 的随机版本广泛用作“微调”忘却基准，尽管在非凸函数上缺乏理论依据。在本文中，我们通过分析通过扰动或偏置梯度系统视角下的忘却，为随机 R2D 和 D2D 在强凸、凸和非凸损失函数上证明了 ($\varepsilon$, $\delta$) 认证忘却保证。我们的论证依赖于对 unlearning 与 retrain 轨迹随机行为的最优耦合， resulting in a 适用于期望的灵敏度界，从而得到 ($\varepsilon$, $\delta$) 忘却。我们确定 D2D 可在强凸函数上获得更紧致的保证，但 R2D 更适用于凸和非凸函数。最后，我们对这些算法进行经验比较，展示了各自的优势与不足。