FedPID：联邦学习的聚合方法
机器学习
2024-11-05 v1 密码学与安全
摘要
本文提出了 FedPID，即我们在联邦肿瘤分割挑战赛 2024（FETS24）中的参赛方案。灵感来源于 FedCostWAvg 和 FedPIDAvg——我们在 FETS21 和 FETS2022 中的获奖贡献——我们提出了一种改进的联邦与协作学习聚合策略。FedCostWAvg 是一种通过考虑每组的训练样本数量以及上一轮训练中代价函数的下降程度来平均结果的方法。这与 PID 控制器中的微分部分的工作原理类似。在 FedPIDAvg 中，我们还补充了缺失的积分部分。我们面临的另一个挑战是各中心的数据集规模差异巨大。我们通过假设规模服从泊松分布并相应调整每个中心的训练迭代次数来解决这个问题。本质上，该方法控制了需要过多训练时间的异常值被使用的频率。基于这些贡献，我们现在通过改变积分部分的计算方式来改进 FedPIDAvg：不再对损失函数进行积分，而是测量从第一轮开始的全局代价下降量。
引用
@article{arxiv.2411.02152,
title = {FedPID: An Aggregation Method for Federated Learning},
author = {Leon Mächler and Gustav Grimberg and Ivan Ezhov and Manuel Nickel and Suprosanna Shit and David Naccache and Johannes C. Paetzold},
journal= {arXiv preprint arXiv:2411.02152},
year = {2024}
}