框外遗忘：从输入输出观测可访问的信息中擦除深度网络
机器学习
2020-10-30 v3 计算机视觉与模式识别
信息论
math.IT
机器学习
摘要
我们描述了一种从已训练深度网络中移除对一批训练数据依赖性的过程，该过程改进并推广了先前方法至不同的读出函数，并可扩展以确保网络激活中的遗忘。我们引入了一个新的界限，刻画对于仅观测输入输出行为的黑盒网络，每次查询可从被遗忘批次中提取多少信息。所提出的遗忘过程具有一个确定性部分，源自模型线性化版本微分方程，以及一个随机部分，通过添加贴合损失景观几何的噪声来确保信息销毁。我们利用受神经切线核启发的 DNN 激活与权重动态之间的联系，来计算激活中的信息。
引用
@article{arxiv.2003.02960,
title = {Forgetting Outside the Box: Scrubbing Deep Networks of Information Accessible from Input-Output Observations},
author = {Aditya Golatkar and Alessandro Achille and Stefano Soatto},
journal= {arXiv preprint arXiv:2003.02960},
year = {2020}
}
备注
ECCV 2020