FedPIDAvg:一种受 PID 控制器启发的联邦学习聚合方法
机器学习
2023-04-25 v1
摘要
本文提出 FedPIDAvg,其为联邦肿瘤分割挑战赛 2022(FETS22)的获胜提交。受我们 FETS21 的获胜贡献 FedCostWAvg 启发,我们给出了一种改进的联邦与协作学习聚合策略。FedCostWAvg 是一种加权平均方法,不仅考虑各簇的训练样本数,还考虑上一联邦轮中相应代价函数的下降幅度。这可解释为 PID 控制器(比例-积分-微分控制器)的微分部分。在 FedPIDAvg 中,我们进一步补上缺失的积分项。另一关键挑战是各中心数据样本量差异巨大。我们通过将数据中心的规模建模为服从泊松(Poisson)分布并相应选择各中心的训练迭代次数来解决此问题。我们的方法优于所有其他提交方案。
引用
@article{arxiv.2304.12117,
title = {FedPIDAvg: A PID controller inspired aggregation method for Federated Learning},
author = {Leon Mächler and Ivan Ezhov and Suprosanna Shit and Johannes C. Paetzold},
journal= {arXiv preprint arXiv:2304.12117},
year = {2023}
}