FjORD：基于有序丢弃的异构目标下公平且准确的联邦学习
机器学习
2022-01-12 v5 分布式、并行与集群计算
摘要
联邦学习（FL）在不同 ML 任务（从视觉到键盘预测）中正获得显著关注。在大规模部署中，客户端异构性是事实并构成公平性、训练性能与准确性的主要问题。尽管在解决统计数据异构性上已有显著努力，客户端处理能力与时延带宽的多样性（称为系统异构性）在很大程度上仍未被探索。当前方案要么忽视大部分可用设备，要么受最弱参与者限制对模型容量设定统一上限。本文中我们引入有序丢弃（Ordered Dropout），一种在深度神经网络（DNNs）中实现有序嵌套知识表示、并无需重训练即可提取低占用子模型的机制。我们进一步表明对于线性映射，我们的有序丢弃等价于 SVD。我们在名为 FjORD 的 FL 框架中采用该技术及一种自蒸馏方法。FjORD 通过将模型宽度适配于客户端能力来缓解客户端系统异构性问题。在多种模态上针对 CNN 与 RNN 的广泛评估表明，FjORD 相较于前沿基线始终带来显著性能提升，同时保持其嵌套结构。
引用
@article{arxiv.2102.13451,
title = {FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout},
author = {Samuel Horvath and Stefanos Laskaridis and Mario Almeida and Ilias Leontiadis and Stylianos I. Venieris and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2102.13451},
year = {2022}
}
备注
Accepted at the 35th Conference on Neural Information Processing Systems (NeurIPS), 2021