鱼与熊掌兼得：迈向高效且精确的拆分联邦学习
机器学习
2024-04-09 v2 分布式、并行与集群计算
摘要
由于其于资源受限场景中的优势，拆分联邦学习（SFL）在AIoT系统中颇具前景。然而，由于数据异构与掉队者，SFL面临低推理精度与低效率的挑战。为解决这些问题，本文提出一种新颖的SFL方法，称为滑动拆分联邦学习（SFL），其采用自适应滑动模型拆分策略与基于数据平衡的训练机制。通过依据AIoT设备的计算能力动态分派不同模型部分，SFL可缓解由掉队者导致的低训练效率。通过结合具有不同数据分布的设备上传的特征，生成多个具有均匀分布、用于反向传播的更大批次，SFL可缓解由数据异构引起的性能退化。实验结果表明，相较于传统SFL，SFL可实现高达16.5%的推理精度提升与3.54倍训练加速。
引用
@article{arxiv.2311.13163,
title = {Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning},
author = {Dengke Yan and Ming Hu and Zeke Xia and Yanxin Yang and Jun Xia and Xiaofei Xie and Mingsong Chen},
journal= {arXiv preprint arXiv:2311.13163},
year = {2024}
}