Goldfish：一种高效的联邦遗忘学习框架
机器学习
2024-04-24 v2 密码学与安全
摘要
随着近期关于“被遗忘权”的立法出台，机器遗忘学习已成为一个关键研究领域。它有助于从联邦训练的机器学习模型中移除用户数据，而无需从头开始重新训练。然而，当前的机器遗忘学习算法面临效率和有效性的挑战。为了解决上述问题，我们提出了一个名为 Goldfish 的新框架。它包含四个模块：基础模型、损失函数、优化和扩展。针对现有机器遗忘学习算法有效性低的问题，我们提出了一种新颖的损失函数。它考虑了剩余数据集中预测与实际标签之间差异所产生的损失。同时，它考虑了被移除数据集上预测结果的偏差。此外，它还考虑了预测结果的置信度。为了提高效率，我们在基础模型中采用了知识蒸馏技术，并引入了一个包含由经验风险指导的提前终止机制和数据划分机制的优化模块。此外，为了增强聚合模型的鲁棒性，我们提出了一个扩展模块，该模块结合了使用自适应蒸馏温度来处理用户本地数据异质性的机制，以及使用自适应权重来处理上传模型质量多样性的机制。最后，我们进行了全面的实验以说明所提方法的有效性。
引用
@article{arxiv.2404.03180,
title = {Goldfish: An Efficient Federated Unlearning Framework},
author = {Houzhe Wang and Xiaojie Zhu and Chi Chen and Paulo Esteves-Veríssimo},
journal= {arXiv preprint arXiv:2404.03180},
year = {2024}
}