TiFL：一种基于分层的联邦学习系统
机器学习
2020-01-28 v1 性能
机器学习
摘要
联邦学习（FL）能够在许多客户端上学习共享模型而不违反隐私要求。FL的一个关键属性是由于不同客户端在算力与通信能力以及数据数量与内容上的差异而存在的资源与数据异构性。我们通过案例研究表明，资源与数据的异构性在传统FL系统的训练时间和模型精度上有显著影响。为此，我们提出TiFL，一种基于分层（Tier-based）的联邦学习系统，它根据客户端的训练表现将其划分为若干层（tier），并在每轮训练中选择同一层中的客户端，以缓解由资源与数据量异构引起的掉队者（straggler）问题。为了进一步驯服由非独立同分布（non-IID）数据与资源引起的异构性，TiFL采用自适应层选择方法，根据随时间观察到的训练表现与精度动态更新分层。我们遵循Google的FL架构在FL测试床上对TiFL进行原型实现，并使用流行基准以及最先进的FL基准LEAF对其进行评估。实验评估表明，TiFL在各种异构条件下均优于传统FL。借助所提出的自适应层选择策略，我们证明TiFL实现了快得多的训练性能，同时保持了整体相同的（某些情况下更好的）测试精度。
引用
@article{arxiv.2001.09249,
title = {TiFL: A Tier-based Federated Learning System},
author = {Zheng Chai and Ahsan Ali and Syed Zawad and Stacey Truex and Ali Anwar and Nathalie Baracaldo and Yi Zhou and Heiko Ludwig and Feng Yan and Yue Cheng},
journal= {arXiv preprint arXiv:2001.09249},
year = {2020}
}