联邦学习中的拉舒蒙集与模型多样性

拉舒蒙集捕捉一组实现接近相同经验性能但可能在决策边界上存在显著差异的模型。理解这些模型之间的差异，即其多样性，被认为是实现模型透明度、公平性和鲁棒性的关键步骤，因为这揭示了标准指标遮盖的决策边界不稳定性。然而，现有的拉舒蒙集定义和多样性指标假设是集中式学习，无法自然扩展到类似联邦学习（FL）这样的去中心化、多方设置。在FL中，多个客户端在中心服务器的协调下进行协合训练，而不共享原始数据，这保留了隐私，但引入了来自异构客户端数据分布和通信约束的挑战。在这种设置下，选择单一最佳模型可能使不同客户端的预测行为趋于一致，放大偏见，或破坏公平性保证。在本文中，我们为FL提供了首个拉舒蒙集的正式化。首先，我们将拉舒蒙集定义适用于FL，区分三种视角：（I）基于所有客户端聚合统计数据的全局拉舒蒙集，（II）表示来自t份客户端本地拉舒蒙集交集的t-一致性拉舒蒙集，（III）特定于每个客户端本地分布的个人拉舒蒙集。其次，我们展示了如何在FL的隐私约束下估计标准的多样性指标。最后，我们引入一个受多样性支持的FL管道并在标准FL基准数据集上进行实证研究。我们的结果表明，所有三个提出的联邦拉舒蒙集定义都提供了有价值的见解，使客户端能够部署更符合其本地数据、公平性考虑和实际要求的模型。