通过累积局部更新提升联邦蒸馏的通信效率
机器学习
2023-12-08 v1 分布式、并行与集群计算
摘要
作为一种新兴的联邦学习范式，联邦蒸馏通过在学习过程中仅传输小规模知识来实现通信高效的模型训练。为了进一步提升联邦蒸馏的通信效率，我们提出了一种新技术ALU（累积局部更新），其在将知识传输至中央服务器之前累积多轮局部更新。ALU大幅降低了联邦蒸馏中的通信频率，从而显著减少了训练过程中的通信开销。实证实验证明了ALU在提升联邦蒸馏通信效率方面的显著效果。
引用
@article{arxiv.2312.04166,
title = {Improving Communication Efficiency of Federated Distillation via Accumulating Local Updates},
author = {Zhiyuan Wu and Sheng Sun and Yuwei Wang and Min Liu and Tian Wen and Wen Wang},
journal= {arXiv preprint arXiv:2312.04166},
year = {2023}
}
备注
2 pages, 3 figures