通过不公平聚合的知识蒸馏应对联邦学习中的数据异构性
机器学习
2025-06-26 v1
摘要
联邦学习旨在分布式环境中训练接近集中训练性能的全局模型。然而，客户端标签偏斜、数据数量偏斜等问题严重降低模型性能。大多数现有方法忽略了在大规模客户端设置中仅小部分客户端参与训练的情形，而我们实验表明，这一情形呈现更具挑战性的联邦学习任务。因此，我们提出一种针对上述联邦学习场景的知识蒸馏与教师-学生不公平聚合（KDIA）策略，可有效利用来自所有客户端的知识。在 KDIA 中，学生模型是参与客户端的平均聚合结果，而教师模型是基于三个频率（参与间隔、参与次数和数据量比例）加权聚合所有客户端得到的。本地训练期间执行自我知识蒸馏。此外，我们利用在服务器上训练的生成器生成大致独立且 identically 分布（IID）的数据特征，用于辅助训练。我们在 CIFAR-10/100/CINIC-10 数据集上进行了大量实验，以评估 KDIA 在各种异构设置下的表现。结果表明，KDIA 在更少的训练轮数下即可实现更好的准确率，且在严重异构情况下改进更为显著。
引用
@article{arxiv.2506.20431,
title = {Tackling Data Heterogeneity in Federated Learning through Knowledge Distillation with Inequitable Aggregation},
author = {Xing Ma},
journal= {arXiv preprint arXiv:2506.20431},
year = {2025}
}
备注
33pages,8figures