值得信赖的伙伴是谁？个性化联邦学习中的自适应协作
机器学习
2025-09-29 v3
摘要
数据异质性在联邦学习中提出了根本性挑战，尤其是当客户端在分布上以及在单个示例预测可靠性方面存在差异时。虽然个性化联邦学习（PFL）旨在解决这一问题，但我们观察到许多PFL方法未能优于两个必要基线：本地训练和集中训练。这表明在全球模型不足但跨客户端协作仍具价值的狭窄条件下，才会出现有意义的个性化。我们的实证发现指出，在这一条件下成功的两个关键要素：协作的自适应性和细粒度的信任，作用于单个示例层面。我们展示了这些属性可在联邦半监督学习中实现，客户端在共享无标签数据集上交换预测。这使每个客户端能够在有益时与公共共识对齐，而在不有益时忽略共识，而无需共享模型参数或原始数据。作为这一想法的具体实现，我们发展了FEDMOSAIC，一种个性化协训练方法，其中客户端根据每个示例的一致性和置信度对损失和伪标签贡献进行重新加权。FEDMOSAIC在广泛的非独立同分布（non-IID）设置下超越了强大的联邦学习和PFL基线，我们在标准光滑性、有界方差和漂移假设下证明了其收敛性。与许多这些基线不同，它也优于本地和集中训练。这些结果阐明了何时联邦个性化才有效，以及如何通过细粒度、信任感知的协作实现个性化。
引用
@article{arxiv.2507.00259,
title = {Whom to Trust? Adaptive Collaboration in Personalized Federated Learning},
author = {Amr Abourayya and Jens Kleesiek and Bharat Rao and Michael Kamp},
journal= {arXiv preprint arXiv:2507.00259},
year = {2025}
}