面向具有垂直与水平数据划分的多层网络的跨孤岛联邦学习

我们考虑分层通信网络中的联邦学习。我们的网络模型由一组孤岛组成，每个孤岛持有数据的垂直划分。每个孤岛包含一个中心节点和一组客户端，该孤岛的垂直数据分片在其客户端间水平划分。我们提出分层去中心化坐标下降（TDCD），一种针对此类两层网络的通信高效去中心化训练算法。每个孤岛中的客户端在与其中心节点共享更新前执行多次局部梯度步以减少通信开销。每个中心节点通过平均其工作节点的更新来调整自身坐标，随后各中心节点彼此交换中间更新。我们给出了算法的理论分析，并展示了收敛速率对垂直划分数量与局部更新次数的依赖关系。我们进一步通过使用多种数据集与目标基于仿真的实验对方法进行了实证验证。