基于局部一致性与领域多样性的域偏移下公平联邦学习

联邦学习（FL）已成为一种保护隐私的协作训练新范式。在域偏移下，当前的FL方法存在偏差，并面临两个公平性问题。1）参数更新冲突：客户端之间的数据差异导致参数重要性不同和更新方向不一致。这两种差异导致重要参数可能被主导更新的不重要参数所淹没。这进而导致性能较低的客户端性能显著下降。2）模型聚合偏差：现有的FL方法引入了不公平的权重分配，并忽略了领域多样性。这导致了有偏的模型收敛目标和领域间性能差异。我们发现了联邦学习中一种显著的方向性更新一致性，并提出了一种新颖的框架来解决上述问题。首先，利用这一发现的特征，我们选择性地丢弃不重要的参数更新，以防止来自性能较低客户端的更新被不重要参数淹没，从而实现更公平的泛化性能。其次，我们提出了一个公平的聚合目标，以防止全局模型偏向某些领域，确保全局模型持续与无偏模型对齐。所提出的方法是通用的，可以与其他现有的FL方法结合以增强公平性。在Digits和Office-Caltech上的综合实验证明了我们方法的高公平性和高性能。