利用部分信息分解揭示联邦学习中局部与全局公平性权衡
机器学习
2024-03-06 v2 计算机与社会
信息论
math.IT
摘要
本工作从信息论视角探讨联邦学习（FL）中针对性别、种族等敏感属性的群体公平性权衡。现有工作常聚焦于全局公平性（所有客户端上模型的总体差异）或局部公平性（各客户端上模型的差异），而未总是考量其间的权衡。关于 FL 中全局与局部公平性的相互作用，尤其在数据异构下，以及其一是否及何时蕴含另一，尚缺乏理解。为弥补此不足，我们利用信息论中称为部分信息分解（PID）的一支工作，其首先辨识出 FL 中三种不公平性来源，即独特差异、冗余差异与掩蔽差异。我们借助典型示例展示这三种差异如何贡献于全局与局部公平性。该分解为我们推导全局与局部公平性之间权衡的基本极限提供了帮助，阐明了二者一致与分歧之处。我们引入准确率与全局-局部公平性最优性问题（AGLFOP），一种定义准确率与公平性权衡理论极限的凸优化，可辨识给定数据集与客户端分布下任何 FL 策略所能达到的最佳性能。我们还在合成数据集与 ADULT 数据集上给出实验结果以支持我们的理论发现。
引用
@article{arxiv.2307.11333,
title = {Demystifying Local and Global Fairness Trade-offs in Federated Learning Using Partial Information Decomposition},
author = {Faisal Hamman and Sanghamitra Dutta},
journal= {arXiv preprint arXiv:2307.11333},
year = {2024}
}
备注
Published at the International Conference on Learning Representations (ICLR) 2024