利用权重更新幅度降低联邦学习中的系统异构性影响

手持设备的广泛普及推动了新应用的快速增长。其中若干新应用采用机器学习模型，在通常私密且敏感的用户数据上训练。联邦学习使机器学习模型能在各手持设备上本地训练，仅将其神经元更新与服务器同步。虽由此保障用户隐私，但技术缩放与软件进步导致手持设备性能参差不齐。这使得联邦学习任务训练时间受少数低性能掉队设备支配，实质上成为整个训练过程的瓶颈。本工作旨在通过基于掉队设备性能与精度反馈动态构建子模型，缓解联邦学习的性能瓶颈。为此，我们提出不变丢弃（Invariant Dropout），一种基于神经元更新阈值的动态技术。Invariant Dropout利用非掉队客户端的神经元更新，在每次训练迭代中为各掉队者构建定制子模型。所有幅度小于该阈值的对应权重在该迭代中被丢弃。我们使用五个真实移动客户端评估Invariant Dropout。评估表明，相较最先进的Ordered Dropout，Invariant Dropout在缓解掉队者性能瓶颈的同时获得最高1.4%点的精度增益。