BAFFLE：一种无反向传播的联邦学习基线方法
机器学习
2024-07-23 v3 人工智能
密码学与安全
分布式、并行与集群计算
摘要
联邦学习（FL）是去中心化客户端在不共享本地数据的情况下共同训练服务器模型的一般性原则。FL 是一个具有实际应用前景的框架，但其标准训练范式要求客户端通过模型反向传播以计算梯度。由于这些客户端通常是边缘设备且并非完全可信，在其上执行反向传播会带来计算和存储开销以及白盒漏洞。有鉴于此，我们提出了无反向传播的联邦学习，称为 BAFFLE，其中反向传播被多次前向过程所替代以估计梯度。BAFFLE 具有如下特点：1）内存高效且易于适配上传带宽；2）兼容仅推理的硬件优化以及模型量化或剪枝；3）非常适用于可信执行环境，因为 BAFFLE 中的客户端只执行前向传播并向服务器返回一组标量。我们在经验上利用 BAFFLE 从头训练深度模型或微调预训练模型，取得了可接受的结果。代码见 https://github.com/FengHZ/BAFFLE。
引用
@article{arxiv.2301.12195,
title = {BAFFLE: A Baseline of Backpropagation-Free Federated Learning},
author = {Haozhe Feng and Tianyu Pang and Chao Du and Wei Chen and Shuicheng Yan and Min Lin},
journal= {arXiv preprint arXiv:2301.12195},
year = {2024}
}
备注
ECCV 2024