加速公平联邦学习：自适应联邦Adam
机器学习
2023-01-24 v1 分布式、并行与集群计算
摘要
联邦学习是一种分布式且保护隐私的方法，用于从不同参与方的去中心化数据协作训练统计模型。然而，当参与者的数据集非独立同分布（non-IID）时，朴素联邦算法训练的模型可能偏向某些参与者，且各参与者间的模型性能不均匀。这被称为联邦学习中的公平性问题。本文将以公平性控制的联邦学习表述为一个动态多目标优化问题，以保证所有参与者间的公平性能。为高效求解该问题，我们研究了联邦学习中作为服务器优化器的Adam的收敛性与偏差，并提出自适应联邦Adam（AdaFedAdam）以加速公平联邦学习并减轻偏差。我们在数值实验中验证了AdaFedAdam的有效性、Pareto最优性与鲁棒性，并表明AdaFedAdam优于现有算法，为联邦方案提供了更好的收敛性与公平性。
引用
@article{arxiv.2301.09357,
title = {Accelerating Fair Federated Learning: Adaptive Federated Adam},
author = {Li Ju and Tianru Zhang and Salman Toor and Andreas Hellander},
journal= {arXiv preprint arXiv:2301.09357},
year = {2023}
}