面向异构化联邦学习的随机化零阶层次框架
最优化与控制
2025-09-11 v2 机器学习
摘要
联邦学习中的异构性是一个关键且具有挑战性的方面，显著影响模型性能和收敛。在本文中，我们提出一种新型框架，通过将异构联邦学习建模为层次优化问题来实现。该新框架通过双层建模捕获了本地和全局训练过程，能够实现：(i) 通过个性化学习框架解决客户端异构性；(ii) 捕获服务器端的预训练过程；(iii) 通过非标准聚合更新全局模型；(iv) 允许本地步骤不相同；以及(v) 捕获客户端的局部约束。我们设计并分析了一种隐式零阶联邦学习方法 (ZO-HFL)，该方法为服务器代理人和单个客户端代理人提供非渐近收敛保证，并在几乎必然意义上为服务器代理人和客户端代理人提供渐近收敛保证。值得注意的是，我们的方法不依赖于异构联邦学习中常见的假设，如有界梯度不相似条件。我们在图像分类任务上实现该方法，并在不同的异构设置下与其他方法进行比较。
引用
@article{arxiv.2504.01839,
title = {A Randomized Zeroth-Order Hierarchical Framework for Heterogeneous Federated Learning},
author = {Yuyang Qiu and Kibaek Kim and Farzad Yousefian},
journal= {arXiv preprint arXiv:2504.01839},
year = {2025}
}
备注
Accepted at the 64th IEEE Conference on Decision and Control (CDC 2025)