联邦学习中利用内部跨层梯度将同质性扩展至异质性
机器学习
2024-02-27 v2 人工智能
摘要
联邦学习（FL）在实际场景中不可避免地面临系统异构性的挑战。为增强多数模型同构 FL 方法处理系统异构性的能力，我们提出了一种训练方案，可扩展其应对该挑战的能力。本文从对同构与异构 FL 设置的详细探究入手，发现了三个关键观察：（1）客户端性能与层相似度正相关，（2）浅层相似度高于深层，以及（3）更平滑的梯度分布意味着更高的层相似度。基于这些观察，我们提出 InCo 聚合，利用内部跨层梯度——服务器模型内浅层与深层梯度的混合——来增强深层相似度，且无需客户端间额外通信。此外，我们的方法可定制以适配 FedAvg、FedProx、FedNova、Scaffold 和 MOON 等模型同构 FL 方法，扩展其处理系统异构性的能力。大量实验结果验证了 InCo 聚合的有效性，凸显内部跨层梯度作为提升异构 FL 性能的有前景途径。
引用
@article{arxiv.2308.11464,
title = {Internal Cross-layer Gradients for Extending Homogeneity to Heterogeneity in Federated Learning},
author = {Yun-Hin Chan and Rui Zhou and Running Zhao and Zhihan Jiang and Edith C. -H. Ngai},
journal= {arXiv preprint arXiv:2308.11464},
year = {2024}
}
备注
ICLR 2024. 29 pages. Source codes: https://github.com/ChanYunHin/InCo-Aggregation