FOCUS：基于智能体感知的异质数据联邦学习公平性方法
机器学习
2023-11-17 v4 计算机与社会
摘要
联邦学习（FL）允许各智能体在不共享本地数据的情况下联合训练一个全局模型。然而，由于本地数据的异质性，优化甚至定义所训练全局模型对于各智能体的公平性都具有挑战性。例如，已有工作通常将准确率均衡视为 FL 中不同智能体的公平性，这存在局限，尤其在异质设定下，因为直觉上强制拥有高质量数据的智能体达到与贡献低质量数据的智能体相似的准确率是不“公平”的，这可能打击智能体参与 FL 的积极性。本文提出一种形式化的 FL 公平性定义，即基于智能体感知的公平性（FAA），其考虑了异质智能体的不同贡献。在 FAA 下，拥有高质量数据的智能体的性能不会仅因存在大量低质量数据智能体而受损。此外，我们提出一种基于智能体聚类的公平 FL 训练算法（FOCUS）以在 FL 中实现由 FAA 度量的公平性。理论上，我们证明了在具有有界光滑性的线性和一般凸损失函数的温和条件下 FOCUS 的收敛性与最优性。我们还证明了在线性和一般凸损失函数下，FOCUS 相较于标准 FedAvg 总能实现更高的 FAA 公平性。在实验上，我们展示了在包括合成数据、图像和文本的四个 FL 数据集上，与 FedAvg 及最先进的公平 FL 算法相比，FOCUS 在保持有竞争力的预测准确率的同时实现了显著更高的 FAA 公平性。
引用
@article{arxiv.2207.10265,
title = {FOCUS: Fairness via Agent-Awareness for Federated Learning on Heterogeneous Data},
author = {Wenda Chu and Chulin Xie and Boxin Wang and Linyi Li and Lang Yin and Arash Nourian and Han Zhao and Bo Li},
journal= {arXiv preprint arXiv:2207.10265},
year = {2023}
}