LegoNet:一种快速且精确的机器遗忘架构
机器学习
2022-10-31 v1
摘要
机器遗忘旨在从已训练模型中,应删除请求抹去特定训练样本的影响。在删除后于保留数据上重新训练模型是一种有效但低效的方法,原因在于模型参数与重训练样本数量巨大。为加速,一种自然方式是减少此类参数与样本。然而,该策略通常导致模型性能损失,这就带来了在提升遗忘效率的同时保持可接受性能的挑战。本文中,我们提出一种新颖网络,即 \textit{LegoNet},其采用“固定编码器 + 多个适配器”的框架。我们固定 LegoNet 的编码器(~即用于表征学习的骨干网络)以减少遗忘过程中需重训练的参数量。由于编码器占据模型参数的主要部分,遗忘效率得以显著提升。然而,固定编码器经验上会导致显著的性能下降。为补偿性能损失,我们采用多个适配器的集成,这些适配器是独立的子模型,用于根据编码(~即编码器输出)推断预测。此外,我们为适配器设计了一种激活机制,以进一步权衡遗忘效率与模型性能。该机制保证每个样本仅能影响极少适配器,因此在遗忘期间需重训练参数与样本均得以减少。实证实验验证了 LegoNet 在实现快速且精确遗忘的同时保持可接受性能,综合优于遗忘基线方法。
引用
@article{arxiv.2210.16023,
title = {LegoNet: A Fast and Exact Unlearning Architecture},
author = {Sihao Yu and Fei Sun and Jiafeng Guo and Ruqing Zhang and Xueqi Cheng},
journal= {arXiv preprint arXiv:2210.16023},
year = {2022}
}