统计粗糙度信息化机器遗忘

机器遗忘旨在从训练后的模型中移除指定遗忘集合的影响，同时保持对保留数据的实用性。在现代深度网络中，近似遗忘在大规模或对抗性删除情况下经常失败，由于 pronounced 层级异质性：某些层表现出稳定、良好正则化的表示，而另一些则脆弱、未得到充分训练或过拟合，因此，粗糙的更新分配可能触发灾难性遗忘或不稳定动力学。我们提出 Statistical-Roughness Adaptive Gradient Unlearning (SRAGU)，这是一种 mechanism-first 的遗忘算法，通过层级统计粗糙度操作化（通过重尾谱诊断层权重矩阵）来重新分配遗忘更新。 Starting from 一个 Adaptive Gradient Unlearning (AGU) 对遗忘集合的灵敏度信号，SRAGU 为每个层估计一个 WeightWatcher 风格的重尾指数，将其映射到有界的谱稳定权重，并使用该稳定信号在谱上重新加权 AGU 灵敏度，然后应用相同的 minibatch 更新形式。这将在谱上稳定的层中集中遗忘动力学，同时抑制不稳定或过拟合层的更新，从而提高硬删除情况下的稳定性。我们通过行为对齐来评估遗忘，针对金标准模型（在保留数据上从头训练的参考模型）进行评估，使用 empirical prediction-divergence 和 KL-to-gold 代理在针对遗忘的查询集合上进行评估；我们还报告了成员推断审计作为一种补充漏洞信号，将遗忘集合中的点视为应被遗忘的成员进行评估。