FedBoosting：基于梯度保护提升的联邦学习用于文本识别
计算机视觉与模式识别
2023-12-14 v5
摘要
典型的机器学习方法需要集中数据进行模型训练，而在由于隐私和梯度保护等原因存在数据共享限制的情况下，这可能无法实现。最近提出的联邦学习(Federated Learning, FL)框架允许在不集中或共享数据所有者之间数据的情况下协作学习共享模型。然而，我们在本文中表明，联合模型的泛化能力在非独立同分布(Non-IID)数据上较差，特别是当由于权重发散现象而使用联邦平均(Federated Averaging, FedAvg)策略时。因此，我们提出了一种用于 FL 的新颖提升算法，以解决泛化和梯度泄露问题，并在基于梯度的优化中实现更快收敛。此外，引入了一种使用同态加密(Homomorphic Encryption, HE)和差分隐私(Differential Privacy, DP)的安全梯度共享协议，以防御梯度泄露攻击并避免不可扩展的成对加密。我们证明了所提出的联邦提升(Federated Boosting, FedBoosting)方法在公开基准的视觉文本识别任务中，在预测准确率和运行效率方面均取得了显著提升。
引用
@article{arxiv.2007.07296,
title = {FedBoosting: Federated Learning with Gradient Protected Boosting for Text Recognition},
author = {Hanchi Ren and Jingjing Deng and Xianghua Xie and Xiaoke Ma and Yichuan Wang},
journal= {arXiv preprint arXiv:2007.07296},
year = {2023}
}
备注
The source code can be found at https://github.com/Rand2AI/FedBoosting