异构数据上序贯分割学习的收敛性分析
机器学习
2023-12-27 v3
摘要
联邦学习（FL）与分割学习（SL）是两种流行的分布式机器学习范式。通过将计算密集型部分卸载至服务器，SL 在资源受限设备上的深度模型训练中颇具前景，但仍缺乏严格的收敛性分析。本文针对异构数据上强凸/一般/非凸目标，推导了序贯分割学习（SSL，即按顺序进行模型训练的 SL 原始情形）的收敛保证。值得注意的是，所得保证表明在异构数据上 SSL 优于联邦平均（FedAvg，FL 中最流行的算法）。我们在极度异构数据上对该反直觉的分析结果进行了实证验证。
引用
@article{arxiv.2302.01633,
title = {Convergence Analysis of Sequential Split Learning on Heterogeneous Data},
author = {Yipeng Li and Xinchen Lyu},
journal= {arXiv preprint arXiv:2302.01633},
year = {2023}
}