原则性联邦域适应：梯度投影与自动加权
机器学习
2024-03-26 v4
摘要
联邦域适应（FDA）描述了一种联邦学习（FL）设定，其中源客户端与服务器协作以提升数据有限的目标客户端的性能。源域与目标域之间的域偏移，加上目标客户端数据的有限性，使FDA成为一个具有挑战性的问题，例如，由于域偏移和数据稀缺，联邦平均和微调等常用技术会失效。为从理论层面理解该问题，我们引入了刻画FDA设定的新度量，以及用于分析服务器聚合规则性能的理论框架与新定理。此外，我们提出了一种轻量级新型聚合规则——联邦梯度投影（FedGP），其在域偏移和数据稀缺下显著提升了目标性能。而且，我们的理论提出了一种自动加权方案，可找到源梯度与目标梯度的最优组合。该方案改进了FedGP以及一种更简单的启发式聚合规则。大量实验验证了理论见解，并说明了所提方法在实践中的有效性。
引用
@article{arxiv.2302.05049,
title = {Principled Federated Domain Adaptation: Gradient Projection and Auto-Weighting},
author = {Enyi Jiang and Yibo Jacky Zhang and Sanmi Koyejo},
journal= {arXiv preprint arXiv:2302.05049},
year = {2024}
}
备注
ICLR 2024