一种基于区块链且具压缩通信的快速联邦学习框架
机器学习
2022-08-15 v1 密码学与安全
摘要
近来，基于区块链的联邦学习（BFL）因训练过程可审计且采用无服务器架构，避免了原生联邦学习（VFL）中参数服务器的单点故障而受到广泛关注。然而，BFL 极大增加了通信流量，因为 BFL 客户端获得的所有本地模型更新（即模型参数的变化）将被传至所有矿工验证并传至所有客户端聚合。相比之下，VFL 中的参数服务器与客户端仅保留聚合后的模型更新。因此，BFL 中巨大的通信流量将不可避免地损害训练效率，阻碍其实际部署。为提升 BFL 的实用性，我们率先提出一种通过压缩 BFL 中通信来实现快速的基于区块链的通信高效联邦学习框架，称为 BCFL。同时，我们推导了 BCFL 在非凸损失下的收敛速率。为最大化最终模型精度，我们进一步将问题建模为在有限训练时间内针对压缩率与区块生成速率最小化收敛速率的训练损失，这是一个双凸优化问题且可被高效求解。最后，我们使用标准 CIFAR-10 与 FEMNIST 数据集开展大量实验以证明 BCFL 的效率。实验结果不仅验证了分析的正确性，还表明与 BFL 相比，BCFL 可将通信流量减少 95-98% 或将训练时间缩短 90-95%。
引用
@article{arxiv.2208.06095,
title = {A Fast Blockchain-based Federated Learning Framework with Compressed Communications},
author = {Laizhong Cui and Xiaoxin Su and Yipeng Zhou},
journal= {arXiv preprint arXiv:2208.06095},
year = {2022}
}
备注
To appear in IEEE Journal on Selected Areas in Communications (JSAC)