FSL-SAGE：通过粉碎激活梯度估计加速联邦分割学习

联邦学习和分割学习等协作训练方法使得在不共享原始数据的情况下进行分布式机器学习成为可能。然而，FL 假设客户端能够训练整个模型，这对于大规模模型是不可行的。相比之下，虽然 SL 通过将大部分训练卸载到服务器来缓解 FL 中的客户端内存限制，但由于其顺序特性，增加了网络延迟。其他方法通过使用局部损失函数进行并行客户端训练以提高效率来解决这一难题，但它们缺乏服务器反馈且可能精度较差。我们提出了 FSL-SAGE（通过粉碎激活梯度估计的联邦分割学习），这是一种新的联邦分割学习算法，通过辅助模型估计服务器端梯度反馈。这些辅助模型周期性地自适应以在本地数据集上模拟服务器行为。我们证明 FSL-SAGE 实现了 $\mathcal{O}(1/\sqrt{T})$ 的收敛速率，其中 $T$ 为通信轮数。该结果与 FedAvg 相匹配，同时显著降低了通信成本和客户端内存需求。我们的实验结果也验证了它优于现有最先进的 FSL 方法，兼具通信效率和准确率。