无瑕网络的长明：深度网络中的选择性遗忘

我们探讨选择性遗忘用于训练深度神经网络的特定数据子集的问题。尽管待遗忘数据的影响可从网络输出中隐藏，但通过深入探测其权重仍可能获取信息。我们提出一种将权重中关于特定训练数据集的信息“擦除”干净的方法。该方法无需从头重新训练，也无需访问最初用于训练的数据。相反，权重被修改，使得权重的任意探测函数与应用于在未含待遗忘数据上训练的网络权重上的同一函数不可区分。该条件是差分隐私的一种广义且更弱的形式。利用与随机梯度下降稳定性相关的思想，我们引入了权重中残留信息量的上界，该上界即使对深度神经网络也可高效估计。