Stragglers Can Contribute More: 面向非同步联邦学习的不确定性感知蒸馏

非同步联邦学习（asynchronous federated learning, FL）近期因其增强的效率和可扩展性而受到关注，使本地客户端可自行速度发送模型更新到服务器，而无需等待较慢的参与者。然而，这一设计面临显著挑战，如因straggler客户端（缓慢客户端）导致的陈旧更新危及整体模型性能，以及在数据异构性情况下更快客户端主导学习过程可能引入的偏差。现有方法通常仅解决上述问题之一，形成矛盾：缓解陈旧更新影响可能加剧更快客户端所致的偏差，反之亦然。为此，我们提出FedEcho—a新型框架，引入不确定性感知蒸馏（uncertainty-aware distillation）以提升在大规模非同步延迟和数据异构性条件下的非同步联邦学习性能。具体而言，不确定性感知蒸馏使服务器能够评估来自straggler客户端的预测可靠性，动态调整这些预测的影响力，基于其估计的不确定性。通过优先考虑更确定的预测，同时仍利用来自所有客户端的多样化信息，FedEcho有效缓解了陈旧更新和数据异构性的负面影响。通过大量实验，我们展示FedEcho在各种非同步联邦学习基线上均表现出色，在不需接触私有客户端数据的情况下实现稳健的性能。