联邦学习中应对数据与应用设备交织异构且陈旧度无界的问题

联邦学习（FL）会受到数据和设备异构性的影响，前者由客户端不同的本地数据分布引起，后者由上传模型更新时的延迟（即陈旧性）引起。传统方案将这些异构性视为两个独立分离的方面，但这一假设在实际 FL 场景中并不现实，因为这些异构性是交织在一起的。在这些情况下，传统 FL 方案效率低下，更好的方法是将陈旧的模型更新转换为无陈旧的更新。本文提出了一种新的 FL 框架，确保该转换的准确性和计算效率，从而有效应对可能导致模型更新中无界陈旧性的交织异构性。我们的基本思想是从客户端上传的陈旧模型更新中估计其本地训练数据的分布，并利用这些估计计算无陈旧的客户端模型更新。由此，我们的方法不需要任何辅助数据集，也不要求客户端本地模型完全训练，且不会在客户端设备上产生额外的计算或通信开销。我们在主流数据集和模型上将我们的方法与现有 FL 策略进行了比较，结果表明我们的方法可将训练模型准确率提高至多 25%，并将所需训练轮数减少至多 35%。源代码见：https://github.com/pittisl/FL-with-intertwined-heterogeneity。