了解个性化联邦学习中统计准确性-通信权衡的统计特性：具有 Minimax 保证
机器学习
2025-06-03 v4 分布式、并行与集群计算
机器学习
统计理论
统计计算
统计理论
摘要
个性化联邦学习 (PFL) 提供了一种灵活的框架，用于聚合来自异构数据的分布式客户端的信息。本工作考虑同时学习全局模型和局部模型的个性化联邦学习场景。虽然纯本地训练没有通信成本，但在客户端之间进行协作学习可以利用共享知识来提高统计准确性，在个性化联邦学习中呈现了准确性与通信之间的权衡。然而，对个人化程度如何量化影响样本和算法效率及其内在权衡的理论分析仍然基本未探索。本文通过量化描述个人化程度对权衡的影响，致力于填补这一空白。结果进一步为选择个人化程度提供了理论见解。作为副产出，我们在广泛研究的 PFL 公式中建立了统计准确性的 minimax 最优性。该理论结果在合成数据和真实数据集上得到验证，其通用性在非凸情形下得到验证。
关键词
引用
@article{arxiv.2410.08934,
title = {Understanding the Statistical Accuracy-Communication Trade-off in Personalized Federated Learning with Minimax Guarantees},
author = {Xin Yu and Zelin He and Ying Sun and Lingzhou Xue and Runze Li},
journal= {arXiv preprint arXiv:2410.08934},
year = {2025}
}
备注
Published in Proceedings of the 42st International Conference on Machine Learning (ICML 2025)