利用少量样本在预训练模型中实现类别级遗忘
计算机视觉与模式识别
2022-10-20 v1 机器学习
摘要
为解决现实世界问题，深度学习模型通常在许多类别上联合训练。然而未来，某些类别可能因隐私/伦理问题而受限，必须从已在其上训练过的模型中移除受限类别的知识。由于隐私/伦理问题，可用数据也可能有限，重新训练模型将不可行。我们提出一种新方法解决该问题，且不影响模型对剩余类别的预测能力。我们的方法识别与受限类别高度相关的模型参数，并利用有限的可用训练数据从中移除关于受限类别的知识。我们的方法显著更快，且性能与在剩余类别完整数据上重新训练的模型相近。
引用
@article{arxiv.2210.10670,
title = {Attaining Class-level Forgetting in Pretrained Model using Few Samples},
author = {Pravendra Singh and Pratik Mazumder and Mohammed Asad Karim},
journal= {arXiv preprint arXiv:2210.10670},
year = {2022}
}
备注
Accepted in ECCV 2022