面向公平性的半方差减小型联邦学习

确保联邦学习（FL）系统中的公平性——即为所有参与的多样化客户端提供满意的性能——是一个重要且具有挑战性的问题。文献中已有多种公平联邦学习算法，相对成功地实现了公平性。然而，这些算法大多侧重于最不利地主客户端的损失函数，以提高其性能，往往导致优势客户端的性能被抑制。结果是，这些方法在实现公平性的同时，往往牺牲了系统的整体平均性能。针对上述问题，并受金融领域两大著名风险建模方法——均值-方差和均值-半方差——的启发，我们提出并研究了两种新的公平联邦学习算法：方差减小（Variance Reduction, VRed）和半方差减小（Semi-Variance Reduction, SemiVRed）。VRed 通过对客户端损失函数的方差进行惩罚，以鼓励客户端之间的公平性。而 SemiVRed 则只对最不利地主客户端的损失函数与平均损失之间的差异进行惩罚。通过在多个视觉和语言数据集上的大量实验，我们展示，SemiVRed 在异构数据分布场景下实现了最先进的性能，并在提高公平性和系统整体平均性能方面均取得佳绩。