HO-SFL：基于混合阶数分割联邦学习的无反向传播客户端与无维度聚合
机器学习
2026-05-28 v2 人工智能
摘要
在边缘设备上对大模型进行微调受到了标准框架（如联邦学习和分割学习）中计算密集型反向传播（BP）的严重限制。虽然用零阶优化替代BP可显著降低内存占用，但通常会导致收敛速度严重下降。为解决这一困境，我们提出了混合阶数分割联邦学习（HO-SFL）。通过在拉格朗日框架下重新构建分割学习过程，HO-SFL解耦了优化景观：服务器执行精确的一阶更新（即BP），而客户端执行内存高效的零阶优化。这种混合设计不仅消除了客户端无需BP的需求，还实现了无维度模型聚合，大幅降低了通信成本。重要的是，我们提供了理论收敛分析，表明HO-SFL缓解了零阶优化中由维度引起的收敛减缓，收敛速度可与一阶方法相当。大量实验在视觉和语言模态的任务上验证了HO-SFL在保持与一阶基线相当的收敛速度的同时，显著降低了通信成本和客户端内存占用。
引用
@article{arxiv.2603.14773,
title = {HO-SFL: Hybrid-Order Split Federated Learning with Backprop-Free Clients and Dimension-Free Aggregation},
author = {Qiyuan Chen and Xian Wu and Yi Wang and Xianhao Chen},
journal= {arXiv preprint arXiv:2603.14773},
year = {2026}
}
备注
Accepted to ICML 2026