缓解异构设备联邦学习中的群体偏差
机器学习
2024-07-15 v2 人工智能
计算机视觉与模式识别
摘要
联邦学习正在成为分布式边缘应用中一种保护隐私的模型训练方法。因此，大多数边缘部署本质上是异构的，即其感知能力和环境在部署间存在差异。这种边缘异构性违反了客户端间本地数据的独立同分布（IID）属性，并产生有偏的全局模型，即导致不公平决策和针对特定群体或社区的歧视的模型。现有偏差缓解技术仅关注非IID数据中由标签异构产生的偏差，未考虑由特征异构导致的域变化，且未解决全局群体公平属性。我们的工作提出一种群体公平联邦学习框架，在保护隐私且无资源利用开销的情况下最小化群体偏差。我们的主要思路是利用平均条件概率计算源自异构训练数据的跨域群体重要性权重（importance weights），通过改进的乘积权重更新方法优化表现最差群体的性能。此外，我们提出正则化技术以最小化最差与最佳表现群体间的差异，同时通过阈值机制确保偏差减少与群体性能退化之间的平衡。我们在人类情感识别和图像分类基准上的评估考察了我们的框架在真实异构环境中的公平决策能力。
引用
@article{arxiv.2309.07085,
title = {Mitigating Group Bias in Federated Learning for Heterogeneous Devices},
author = {Khotso Selialia and Yasra Chandio and Fatima M. Anwar},
journal= {arXiv preprint arXiv:2309.07085},
year = {2024}
}