面向垂直划分数据的多层联邦学习
机器学习
2021-02-09 v1 分布式、并行与集群计算
摘要
我们考虑分层通信网络中的去中心化模型训练。我们的网络模型由一组筒仓(silo)组成,每个筒仓持有数据的垂直划分。每个筒仓包含一个中心(hub)和一组客户端,该筒仓的垂直数据分片在其客户端间水平划分。我们提出分层去中心化坐标下降(TDCD),一种针对此类两层网络的通信高效去中心化训练算法。为降低通信开销,每个筒仓中的客户端在与其中心共享更新前执行多次局部梯度步。每个中心通过平均其工作者的更新来调整其坐标,然后各中心彼此交换中间更新。我们给出了算法的理论分析,并展示了收敛速率对垂直划分数、局部更新次数以及每个中心中客户端数量的依赖关系。我们进一步通过使用多种数据集以及凸和非凸目标基于仿真的实验对方法进行经验验证。
引用
@article{arxiv.2102.03620,
title = {Multi-Tier Federated Learning for Vertically Partitioned Data},
author = {Anirban Das and Stacy Patterson},
journal= {arXiv preprint arXiv:2102.03620},
year = {2021}
}
备注
11 pages, 3 figures, To be published in ICASSP 2021