通过传输聚类模型更新削减联邦学习中的通信流量
机器学习
2021-05-11 v1
摘要
联邦学习(Federated Learning, FL)是一种新兴的分布式学习框架，多个客户端可通过它协作训练学习模型。然而，阻碍 FL 广泛应用的一个主要障碍在于海量通信流量。为训练高维机器学习模型(如 CNN 模型)，客户端与参数服务器(PS)之间经由互联网交换模型更新会产生沉重的通信流量，这意味着网络资源很容易被耗尽。压缩模型更新是减少流量总量的有效途径。然而，现有工作仍缺乏一种适用于 FL 中上行与下行双向压缩的灵活无偏压缩算法。本文设计了基于软聚类的模型更新压缩(MUCSC)算法，以压缩客户端与 PS 之间传输的模型更新。在 MUCSC 中，仅需传输聚类质心以及每个模型更新的聚类 ID。此外，我们证明：1) 压缩后的模型更新是其原始值的无偏估计，因此传输压缩模型更新时的收敛速率保持不变；2) MUCSC 能保证压缩误差对模型精度的影响最小化。接着，我们进一步提出增强型 MUCSC(B-MUCSC)算法，这是一种有偏压缩算法，通过将不显著的模型更新归入一个超级聚类，可实现极高的压缩率。B-MUCSC 适用于网络资源极为稀缺的场景。最后，我们在 CIFAR-10 和 FEMNIST 数据集上进行了大量实验，表明我们的算法不仅能大幅减少 FL 中的通信流量，还能提升实际网络中的训练效率。
引用
@article{arxiv.2105.04153,
title = {Slashing Communication Traffic in Federated Learning by Transmitting Clustered Model Updates},
author = {Laizhong Cui and Xiaoxin Su and Yipeng Zhou and Yi Pan},
journal= {arXiv preprint arXiv:2105.04153},
year = {2021}
}
备注
To appear in IEEE Journal on Selected Areas in Communications