QuickDrop：基于集成数据集蒸馏的高效联邦遗忘
机器学习
2024-12-09 v2 人工智能
摘要
联邦遗忘（FU）旨在从使用联邦学习（FL）训练的机器学习模型中删除特定训练数据。我们提出了 QuickDrop，一种高效且新颖的 FU 方法，其利用数据集蒸馏（DD）来加速遗忘，并与现有方法相比大幅降低计算开销。在 QuickDrop 中，每个客户端使用 DD 生成代表原始训练数据集的紧凑数据集，称为蒸馏数据集，并在遗忘过程中使用该紧凑数据集。为从全局模型中遗忘特定知识，QuickDrop 让客户端使用蒸馏数据集中的样本执行随机梯度上升，从而相比传统 FU 方法显著减少计算开销。我们通过巧妙地将 DD 集成到 FL 训练过程中进一步提高了 QuickDrop 的效率。通过重用 FL 训练期间产生的梯度更新用于 DD，创建蒸馏数据集的开销变得几乎可忽略。在三个标准数据集上的评估表明，在具有可比精度保证的情况下，QuickDrop 将遗忘持续时间相比从头重新训练模型减少了 463.8 倍，相比现有 FU 方法减少了 65.1 倍。我们还展示了 QuickDrop 在 100 个客户端下的可扩展性，并证明了其在处理多次遗忘操作时的有效性。
引用
@article{arxiv.2311.15603,
title = {QuickDrop: Efficient Federated Unlearning by Integrated Dataset Distillation},
author = {Akash Dhasade and Yaohong Ding and Song Guo and Anne-marie Kermarrec and Martijn De Vos and Leijie Wu},
journal= {arXiv preprint arXiv:2311.15603},
year = {2024}
}
备注
Accepted by Middleware 2024