联邦学习中的公平性正则化

联邦学习（Federated Learning, FL）已成为现代机器学习中的一种重要范式，使得超过去中心化数据源能够进行协作训练，无需交换原始数据。该方法不仅解决了隐私问题，还允许访问总体上更大且可能更具多样性的数据集，无需集中式存储或硬件资源。然而，客户端数据上的异构性可能导致某些客户端对全局模型产生不成比例的影响，从而导致客户端性能之间的差异。因此，公平性成为联邦学习中的关键关切，可通过多种方式加以解决。然而，现有公平性感知方法的有效性——特别是在数据异构性强的设置下——尚不明确，不同方法之间的关系也不为人所知。本文聚焦于性能平等公平性，即旨在最小化跨客户端性能差异。我们将研究限制在那些显式正则化客户端损失的公平性感知方法上，评估既有的和新提出的方法。我们确定并理论上解释了所考察的公平性方法之间的联系，实证表明FairGrad（近似）和FairGrad*（精确）（两种本文提出的梯度方差正则化方法变体，用于实现性能平等公平性）在数据异构性强的环境下提高了公平性和整体模型性能。