FedTilt: 面向多层级公平性与鲁棒性的联邦学习

联邦学习是一种新兴的去中心化学习范式，部分缓解了传统中心化和分布式学习无法处理的隐私问题。进一步要使联邦学习实用化，还必须考虑公平性和鲁棒性等约束。然而，现有鲁棒联邦学习方法常常产生不公平的模型，而现有公平联邦学习方法仅考虑单层级（客户端）公平性，对现实联邦学习场景中常见的持续性离群值（即注入到每个训练轮次中的离群值）不具鲁棒性。我们提出了 \texttt{FedTilt}，一种能够保持多层级公平性并具备抗离群值鲁棒性的联邦学习方法。具体而言，我们考虑两种常见的公平层级，即客户端公平性——跨客户端性能的均匀性，以及客户端数据公平性——单个客户端内部不同数据类别间性能的均匀性。\texttt{FedTilt}灵感来自最近提出的倾斜经验风险最小化方法，其引入倾斜超参数，可灵活调调。理论上，我们展示了通过调节倾斜值如何实现双层公平性并缓解持续性离群值，并推导了\texttt{FedTilt}的收敛条件。实验上，我们在多样化设置下的一套真实联邦数据集上进行评估，显示\texttt{FedTilt}框架的有效性与灵活性，以及其对当前最先进方法的优势。