TOFU：通过将权重更新编码入代理数据梯度实现混淆式联邦更新
机器学习
2024-04-17 v1
摘要
联邦学习的发展与丰富的用户数据使得多个客户端之间能够在不共享用户数据的情况下进行充分的协作学习。这是通过一个以权重更新形式聚合学习结果的中心服务器实现的。然而，这代价是客户端与服务器之间反复进行的高昂通信，以及用户对隐私泄露的担忧。将梯度反演为生成它们的数据被称为数据泄露。加密技术可用于抵御此种泄露，但会增加额外开销。为应对通信效率与隐私这些挑战，我们提出TOFU，一种新颖的算法，其生成代理数据，将各客户端的权重更新编码入其梯度中。现在共享的是此代理数据而非权重更新。由于输入数据的维度复杂度远低于权重，该编码使我们能在每轮通信中发送少得多的数据。此外，代理数据形似噪声，即便通过数据泄露攻击完美重建，也会将解码后的梯度反演为无法辨识的噪声，从而增强隐私。我们表明，TOFU在MNIST与CIFAR-10数据集上分别仅带来低于1%和7%的精度下降。该下降可通过几轮昂贵加密梯度交换恢复。这使得我们能在联邦设置下学习至接近完全精度，同时在MNIST和CIFAR-10上分别比标准联邦平均（Federated Averaging）算法通信效率高出4倍和6.6倍。
引用
@article{arxiv.2201.08494,
title = {TOFU: Towards Obfuscated Federated Updates by Encoding Weight Updates into Gradients from Proxy Data},
author = {Isha Garg and Manish Nagaraj and Kaushik Roy},
journal= {arXiv preprint arXiv:2201.08494},
year = {2024}
}
备注
First two authors contributed equally to the paper