去偏前先估计：联邦半监督学习中分离先验偏差的贝叶斯方法
机器学习
2024-05-31 v1 分布式、并行与集群计算
摘要
联邦半监督学习（FSSL）利用客户端上的有标签和无标签数据协同训练模型。在FSSL中，异构数据会向模型引入预测偏差，导致模型预测偏向某些类别。现有的FSSL方法主要通过增强模型参数或输出的一致性来解决这一问题。然而，由于模型本身存在偏差，仅约束其一致性不足以缓解预测偏差。在本文中，我们从贝叶斯角度探索了这种偏差，并证明它主要源于训练数据中的标签先验偏差。基于这一见解，我们提出了一种针对FSSL的去偏方法FedDB。FedDB利用无标签数据的平均预测概率（APP-U）来近似有偏先验。在本地训练期间，FedDB通过贝叶斯定理使用APP-U来精炼伪标签，从而显著减少标签先验偏差。同时，在模型聚合期间，FedDB使用参与客户端的APP-U来制定无偏聚合权重，从而有效减少全局模型中的偏差。实验结果表明，FedDB可以超越现有的FSSL方法。代码可在https://github.com/GuogangZhu/FedDB获取。
引用
@article{arxiv.2405.19789,
title = {Estimating before Debiasing: A Bayesian Approach to Detaching Prior Bias in Federated Semi-Supervised Learning},
author = {Guogang Zhu and Xuefeng Liu and Xinghao Wu and Shaojie Tang and Chao Tang and Jianwei Niu and Hao Su},
journal= {arXiv preprint arXiv:2405.19789},
year = {2024}
}
备注
Accepted by IJCAI 2024