分割学习与联邦学习通信效率的详细比较
机器学习
2019-09-23 v1 分布式、并行与集群计算
机器学习
摘要
我们比较了分割学习和联邦学习这两种引人注目的分布式机器学习方法的通信效率。我们展示了每种方法在通信效率方面优于对方的有用设置。我们考虑了分布式学习设置的各种实际场景，并在多种现实场景下对这两种方法进行了对比。我们考虑了客户端数量少和多的设置，以及小模型（1M - 6M 参数）、大模型（10M - 2 亿参数）和超大模型（10 亿 - 1000 亿参数）的设置。我们发现，增加客户端数量或增大模型规模有利于分割学习设置优于联邦学习，而在保持客户端数量或模型规模较小的情况下增加数据样本数量，则使联邦学习的通信效率更高。
引用
@article{arxiv.1909.09145,
title = {Detailed comparison of communication efficiency of split learning and federated learning},
author = {Abhishek Singh and Praneeth Vepakomma and Otkrist Gupta and Ramesh Raskar},
journal= {arXiv preprint arXiv:1909.09145},
year = {2019}
}