AFL：面向预训练模型的单轮分析式联邦学习
机器学习
2026-04-09 v3
摘要
本文提出了分析式联邦学习（AFL），一种新的训练范式，使其能够为联邦学习（FL）中的预训练模型带来解析（即闭式）解。我们的AFL借鉴了分析式学习——一种以梯度自由技术训练神经网络的技术，在一个纪元中完成训练。在本地客户端训练阶段，AFL实现单纪元训练，无需多纪元更新。在聚合阶段，我们推导了绝对聚合（AA）法则。该AA法则实现单轮聚合，减少沟通开销，同时通过消除多个聚合轮次的需求实现快速收敛。更重要的是，AFL具有“数据划分不变性”，即无论完整数据集如何分布在客户端，聚合结果都保持一致。这可能催生各种潜力，如数据异构性不变性和客户端数量不变性。我们在各种FL设置下进行了实验，包括极端非IID情况以及大量客户端（例如 ）的场景。在所有这些设置下，AFL始终保持竞争性能，而现有FL技术则面临各种障碍。我们的代码已公开于 https://github.com/ZHUANGHP/Analytic-federated-learning。
引用
@article{arxiv.2405.16240,
title = {AFL: A Single-Round Analytic Approach for Federated Learning with Pre-trained Models},
author = {Run He and Kai Tong and Di Fang and Han Sun and Ziqian Zeng and Haoran Li and Tianyi Chen and Huiping Zhuang},
journal= {arXiv preprint arXiv:2405.16240},
year = {2026}
}
备注
Published in CVPR 2025