VeriFi:迈向可验证的联邦遗忘学习
密码学与安全
2022-05-26 v1 机器学习
摘要
联邦学习 (FL) 是一种协作学习范式,参与者在不共享私有数据的情况下联合训练一个强大的模型。FL 的一个理想特性是遗忘权 (RTBF) 的实现,即退出的参与者有权要求从全局模型中删除其私有数据。然而,除非遗忘效果能够被独立验证,否则遗忘本身可能不足以实现 RTBF,这是当前文献中已被忽视的一个重要方面。在本文中,我们提出可验证联邦遗忘的概念,并提议 VeriFi,一个集成了联邦遗忘与验证的统一框架,允许对遗忘进行系统分析并量化其效果,支持多种遗忘与验证方法的不同组合。在 VeriFi 中,退出参与者被授予验证权 (RTV),即参与者在退出前通知服务器,然后在接下来的若干通信轮中主动验证遗忘效果。遗忘在服务器收到退出通知后立即执行,而验证由退出参与者在本地通过两步完成:标记 (注入精心设计的标记以指纹化退出者) 与检查 (检验全局模型在标记上性能的变化)。基于 VeriFi,我们进行了首个针对可验证联邦遗忘的系统性大规模研究,考虑了 7 种遗忘方法与 5 种验证方法。特别地,我们提出了一种更高效且对 FL 友好的遗忘方法,以及两种更有效且鲁棒的非侵入式验证方法。我们在 7 个数据集和 4 类深度学习模型上广泛评估了 VeriFi。我们的分析为更可信的联邦遗忘建立了重要的经验性认识。
引用
@article{arxiv.2205.12709,
title = {VeriFi: Towards Verifiable Federated Unlearning},
author = {Xiangshan Gao and Xingjun Ma and Jingyi Wang and Youcheng Sun and Bo Li and Shouling Ji and Peng Cheng and Jiming Chen},
journal= {arXiv preprint arXiv:2205.12709},
year = {2022}
}