QuanCrypt-FL：用于安全联邦学习的量化同态加密与剪枝
密码学与安全
2024-11-11 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习已成为去中心化机器学习的主导方法，允许多个客户端在不交换私有数据的情况下协作训练共享模型。虽然 FL 增强了数据隐私，但在训练和推理阶段仍然容易受到推理攻击，如梯度反转攻击和成员推理攻击。同态加密通过加密模型更新来抵御此类攻击，提供了一种有前景的解决方案，但它引入了大量的通信开销，减慢了训练并增加了计算成本。为了解决这些挑战，我们提出了 QuanCrypt-FL，一种结合低位量化和剪枝技术的新算法，在增强攻击防护的同时显著降低训练的计算成本。此外，我们提出并实现了基于均值的裁剪以缓解量化溢出或错误。通过整合这些方法，QuanCrypt-FL 创建了一个通信高效的 FL 框架，在对模型精度影响最小的情况下确保隐私保护，从而同时提高了计算效率和攻击鲁棒性。我们在 MNIST、CIFAR-10 和 CIFAR-100 数据集上验证了我们的方法，展示了优于最先进方法的性能。QuanCrypt-FL 在不同客户端上始终优于现有方法并在精度上与 Vanilla-FL 持平。此外，QuanCrypt-FL 相比 BatchCrypt 实现了高达 9 倍的加密加速、16 倍的解密加速和 1.5 倍的推理加速，训练时间减少了高达 3 倍。
引用
@article{arxiv.2411.05260,
title = {QuanCrypt-FL: Quantized Homomorphic Encryption with Pruning for Secure Federated Learning},
author = {Md Jueal Mia and M. Hadi Amini},
journal= {arXiv preprint arXiv:2411.05260},
year = {2024}
}