LINDT:以局部自适应应对负联邦学习
机器学习
2020-11-24 v1 分布式、并行与集群计算
摘要
联邦学习(FL)是一种前景广阔的分布式学习范式,它允许多个数据拥有者(也称为客户端)在不泄露各客户端数据的前提下协作学习一个共享模型。然而,FL 可能在我们称之为负联邦学习(NFL)的状态下无法正常进行。本文解决负联邦学习问题。我们给出了 NFL 的严格定义并分析其根本原因。我们提出了一种名为 LINDT 的新框架,用于在运行时应对 NFL。该框架可潜在地与任何基于神经网络的 FL 系统配合,进行 NFL 检测与恢复。具体而言,我们引入了一种从服务器端检测 NFL 的指标。在 NFL 恢复时,该框架通过在每个客户端的局部数据上学习层交织双模型(Layer-wise Intertwined Dual-model),对联邦模型进行局部自适应。实验结果表明,所提方法能在多种 NFL 场景下显著提升 FL 在局部数据上的性能。
引用
@article{arxiv.2011.11160,
title = {LINDT: Tackling Negative Federated Learning with Local Adaptation},
author = {Hong Lin and Lidan Shou and Ke Chen and Gang Chen and Sai Wu},
journal= {arXiv preprint arXiv:2011.11160},
year = {2020}
}