垂直联邦学习中的客户、特征和样本忘卸
机器学习
2025-01-24 v1 人工智能
摘要
联邦学习(FL)已成为一种突出的分布式学习范式。在隐私保护的范围内，信息隐私法规如GDPR赋予用户请求删除其贡献的权利(或忘卸)，即从托管模型的服务中删除。为了实现此目的，必须能够从托管ML模型的服务器中忘卸某些信息，特别是当存在版权侵权或安全问题时，这些问题会使模型脆弱或影响基于该模型的服务性能。虽然大多数忘卸方法在FL中专注于水平FL(HFL)，即客户端共享特征空间和全局模型，但垂直FL(VFL)受到较少关注。VFL涉及客户端(被动方)在他们之间共享样本空间，但没有访问标签。在本文中，我们从三个角度探索VFL中的忘卸：忘卸客户、忘卸特征和忘卸样本。为了忘卸客户和特征，我们引入基于知识蒸馏(KD)的VFU-KD；为了忘卸样本，引入基于梯度上升的VFU-GA。为了提供近似忘卸的证据，我们利用成员推断攻击(MIA)来审计我们忘卸方法的有效性。我们的实验在六个表格数据集和两个图像数据集上表明，VFU-KD和VFU-GA在许多情况下实现了与从头重新训练以及基准R2S方法相当或更好的性能，改进了。在剩余情况下，效用得分保持相当，效用损失仅为。与现有方法不同，VFU-KD和VFU-GA在忘卸期间不需要主动方和被动方之间的通信。然而，它们需要主动方存储先前通信的嵌入。
引用
@article{arxiv.2501.13683,
title = {Unlearning Clients, Features and Samples in Vertical Federated Learning},
author = {Ayush K. Varshney and Konstantinos Vandikas and Vicenç Torra},
journal= {arXiv preprint arXiv:2501.13683},
year = {2025}
}
备注
Paper accepted for publication in PETS 2025, Issue II