基于有损分布式信源编码的联邦学习：分析与优化
信号处理
2023-02-14 v2
摘要
近来，以模型共享取代数据共享的联邦学习（FL）已成为一种高效且保护隐私的机器学习（ML）范式。FL 的主要挑战之一是模型聚合的巨大通信成本。人们已提出许多压缩/量化方案以降低模型聚合的通信成本。然而，以下问题仍待解答：通信成本与 FL 收敛性能之间的根本权衡是什么？在本文中，我们致力于回答该问题。具体而言，我们首先基于率失真理论提出一个模型聚合性能分析的通用框架。在所提分析框架下，我们推导出模型聚合率失真区域的一个内界。随后我们进行 FL 收敛分析以关联聚合失真与 FL 收敛性能。我们构建了一个聚合失真最小化问题以提升 FL 收敛性能。开发了两种算法求解上述问题。关于聚合失真、收敛性能与通信成本的数值结果表明，基线模型聚合方案仍有巨大潜力可进一步改进。
引用
@article{arxiv.2204.10985,
title = {Federated Learning with Lossy Distributed Source Coding: Analysis and Optimization},
author = {Huiyuan Yang and Tian Ding and Xiaojun Yuan},
journal= {arXiv preprint arXiv:2204.10985},
year = {2023}
}