GAPSL：基于梯度对齐的异构数据并行分解学习
机器学习
2026-03-20 v1
摘要
神经网络日益复杂,对在资源受限的客户端设备上实现 FL Democratization 构成重大挑战。并行分解学习 (PSL) 通过模型分区将大量计算工作卸载到服务器,缩小客户端计算负担,并消除客户端模型聚合,以减少通信和部署成本。由于 PSL 无聚合,其会因跨客户端梯度方向不一致而导致严重的训练发散。为解决此挑战,我们提出 GAPSL,一个梯度对齐的 PSL 框架,包含两个关键组件:领导梯度识别 (LGI) 和梯度方向对齐 (GDA)。LGI 动态选择一组方向一致的客户端梯度以构建领导梯度,捕获全局收敛趋势。GDA 采用方向感正则化以将每个客户端的梯度对齐到领导梯度,从而缓解设备间梯度方向不一致并增强模型收敛。我们在原型计算测试平台上评估了 GAPSL。大量实验表明,GAPSL 在训练准确率和延迟方面 consistently 优于最先进的基准。
引用
@article{arxiv.2603.18540,
title = {GAPSL: A Gradient-Aligned Parallel Split Learning on Heterogeneous Data},
author = {Zheng Lin and Ons Aouedi and Wei Ni and Symeon Chatzinotas and Xianhao Chen},
journal= {arXiv preprint arXiv:2603.18540},
year = {2026}
}
备注
13 pages, 21 figures