基于保持几何增强的统一梯度机器学习忘卸

机器忘卸（MU）已涌现出用于增强深度神经网络的隐私与可信度。近似忘卸是大规模模型的实用方法。我们对近似忘卸的调查始于识别最陡下降方向，以最小化输出 Kullback-Leibler 散度在参数邻域内的精确忘卸。此方向分解为三个组成部分：加权忘卸梯度上升、微调保留梯度下降以及权重灵感矩阵。这种分解源于欧几里得度量，涵盖了大多数现有基于梯度的忘卸方法。然而，仅遵循欧几里得空间可能导致次优迭代轨迹，因忽视输出概率空间的几何结构。我们建议将忘卸更新嵌入由剩余几何构成的流形中，融合来自剩余数据的二阶 Hessian。它有助于防止有效忘卸干扰保留性能。然而，对于大规模模型，计算二阶 Hessian 难以实现。为高效利用 Hessian 调制的优势，我们提出一种快速-慢参数更新策略，以隐式近似最新重要忘卸方向。不受特定模态约束，本方法可适用于计算机视觉忘卸任务，包括分类和生成。广泛实验验证了我们的有效性与效率。值得注意的是，我们的方法仅需 50 步即可在 ImageNet 上使用 DiT 实现类别忘卸，或在 CIFAR-10 上使用 DDPM 忘卸一个类别，而之前的方法需要数千步。