面向异构参与方的灵活纵向联邦学习
分布式、并行与集群计算
2023-08-31 v3
摘要
我们提出灵活纵向联邦学习（Flex-VFL），一种在具有垂直划分数据的分布式系统中训练光滑非凸函数的分布式机器学习算法。我们考虑一个由若干参与方组成的系统，这些参与方希望协作学习一个全局函数。每方持有本地数据集；各数据集具有不同特征但共享相同样本ID空间。参与方本质上异构：其运行速度、本地模型架构及优化器可能彼此不同，且可能随时间变化。为在此类系统中训练全局模型，Flex-VFL采用一种并行块坐标下降形式，各参与方通过随机坐标下降训练全局模型的某一部分。我们给出了Flex-VFL的理论收敛分析，表明收敛速率受参与方速度与本地优化器参数制约。我们应用该分析并扩展算法，使参与方学习率能响应速度与本地优化器参数的变化而自适应调整。最后，我们将Flex-VFL的收敛时间与同步及异步VFL算法比较，并展示了自适应扩展的有效性。
引用
@article{arxiv.2208.12672,
title = {Flexible Vertical Federated Learning with Heterogeneous Parties},
author = {Timothy Castiglia and Shiqiang Wang and Stacy Patterson},
journal= {arXiv preprint arXiv:2208.12672},
year = {2023}
}