基于标签掩码蒸馏的联邦学习
机器学习
2024-09-23 v1 密码学与安全
计算机视觉与模式识别
摘要
联邦学习通过全局服务器的协调，提供了一种隐私保护的方式，在分布于多个本地客户端的数据上协作训练模型。在本文中，我们关注联邦学习中的标签分布偏斜问题，即由于客户端用户行为不同，不同客户端之间的标签分布存在显著差异。面对这种情况，由于对客户端标签分布信息利用不充分，大多数现有方法会导致次优优化。受此启发，我们提出了一种称为 FedLMD 的标签掩码蒸馏方法，通过感知每个客户端的各种标签分布来促进联邦学习。在训练过程中，我们根据每个类别的样本数量将标签分为多数标签和少数标签。客户端模型从本地数据中学习多数标签的知识。蒸馏过程掩码掉全局模型对多数标签的预测，使其能够更专注于保留客户端的少数标签知识。一系列实验表明，所提出的方法在各种情况下均能取得 SOTA 性能。此外，考虑到客户端资源有限，我们提出了一种不需要额外教师模型的变体 FedLMD-Tf，该变体在不增加计算成本的情况下优于以往的轻量级方法。我们的代码可在 https://github.com/wnma3mz/FedLMD 获取。
引用
@article{arxiv.2409.13136,
title = {Federated Learning with Label-Masking Distillation},
author = {Jianghu Lu and Shikun Li and Kexin Bao and Pengju Wang and Zhenxing Qian and Shiming Ge},
journal= {arXiv preprint arXiv:2409.13136},
year = {2024}
}
备注
Accepted by ACM MM 2023