学生何时超越教师？基于师生 EMA 的联邦半监督学习
机器学习
2023-01-25 v1
摘要
半监督学习（SSL）在计算机视觉领域受到广泛关注，催生了 FixMatch 等有前景的方法。在训练数据分散并驻留于客户端设备的场景下，SSL 必须与联邦学习等隐私保护训练技术相结合。我们考虑联邦图像分类问题，并研究现有联邦半监督学习（FSSL）方法的性能与隐私挑战。首先，我们注意到即便最先进的 FSSL 算法也可能轻易泄露客户端隐私，并违背客户端无状态、通信成本等其他现实约束。其次，我们观察到将 EMA（指数移动平均）更新集成到联邦设定中具有挑战性，这在性能与通信成本之间存在权衡。我们提出一种新方法 FedSwitch，通过指数移动平均（EMA）更新改善隐私与泛化性能。FedSwitch 利用具有局部教师自适应与师生伪标签生成自适应切换两种特性的联邦半监督师生 EMA 框架。我们提出的方法在联邦图像分类上优于最先进水平，可适应现实约束，并以最小通信成本开销取得良好泛化性能。
引用
@article{arxiv.2301.10114,
title = {When does the student surpass the teacher? Federated Semi-supervised Learning with Teacher-Student EMA},
author = {Jessica Zhao and Sayan Ghosh and Akash Bharadwaj and Chih-Yao Ma},
journal= {arXiv preprint arXiv:2301.10114},
year = {2023}
}