深度网络在比样本更细粒度上的选择性遗忘
机器学习
2021-01-01 v2 机器学习
摘要
从深度神经网络（DNNs）中选择性遗忘或移除信息对于持续学习至关重要，且在控制 DNNs 方面具有挑战性。这种遗忘在实际意义上也很关键，因为已部署的 DNNs 可能在含有离群值、被攻击者投毒或含有泄露/敏感信息的数据上训练。本文中，我们针对分类任务提出了比样本层级更细粒度的选择性遗忘 formulation。我们基于由两个条件区分的四个数据集来指定该更细粒度：是否含有需遗忘的信息，以及是否可用于遗忘过程。此外，我们通过展示具体且实际的情境，揭示了使用这些数据集进行此种形式化的必要性。而且，我们将遗忘过程引入为关于三个准则的优化问题：遗忘项、修正项与记忆项。实验结果表明，所提方法能使模型遗忘在分类中使用特定信息。值得注意的是，在特定情况下，我们的方法提高了模型在含有需遗忘信息但于遗忘过程中不可用的数据集上的准确率。此类数据在实际情形中会被意外发现并被误分类。
引用
@article{arxiv.2012.11849,
title = {Selective Forgetting of Deep Networks at a Finer Level than Samples},
author = {Tomohiro Hayase and Suguru Yasutomi and Takashi Katoh},
journal= {arXiv preprint arXiv:2012.11849},
year = {2021}
}
备注
8+2 pages, 6 figures, accepted to AAAI RSEML