糟糕的教学能诱发遗忘吗？利用不称职教师实现深度网络中的去学习
机器学习
2023-06-01 v2
摘要
由于机器学习（ML）应用日益需要遵守新兴的数据隐私法规，机器去学习已成为一个重要的研究领域。它使得从已训练的ML模型中移除特定集合或类别的数据成为可能，而无需从头重新训练。近年来，已有多项努力致力于使去学习变得有效且高效。我们提出一种新颖的机器去学习方法，通过在学生-教师框架中探索称职与不称职教师的效用来诱发遗忘。来自称职教师和不称职教师的知识被选择性地迁移给学生，以获得一个不包含任何遗忘数据信息的模型。我们通过实验证明，该方法泛化能力强、速度快且有效。此外，我们引入零重训遗忘（ZRF）度量来评估任何去学习方法。与现有的去学习度量不同，ZRF分数不依赖于昂贵的重训模型的可用性。这也使其可用于部署后对去学习模型的分析。我们展示了在各种深度网络及不同应用领域上进行的随机子集遗忘和类别遗忘实验的结果。源代码位于：https://github.com/vikram2000b/bad-teaching-unlearning
引用
@article{arxiv.2205.08096,
title = {Can Bad Teaching Induce Forgetting? Unlearning in Deep Networks using an Incompetent Teacher},
author = {Vikram S Chundawat and Ayush K Tarun and Murari Mandal and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:2205.08096},
year = {2023}
}
备注
Accepted in AAAI 2023