联邦学习的测试时鲁棒个性化
机器学习
2023-06-26 v4
摘要
联邦学习 (FL) 是一种机器学习范式，其中许多客户端利用去中心化训练数据协作学习共享的全局模型。个性化联邦学习进一步将全局模型适配到不同客户端，在一致的本地训练与测试分布上取得了可喜结果。然而，对于现实中的个性化 FL 应用，关键要更进一步：在部署期间演化着的本地测试集下使 FL 模型鲁棒化，此时会出现各种分布偏移。本工作中，我们指出了已有工作在测试时分布偏移下的缺陷，并提出联邦测试时头集成加调优 (FedTHE+)，以对各种测试时分布偏移具有鲁棒性地个性化 FL 模型。我们通过在不同测试分布下于 CIFAR10 与 ImageNet 上训练多种神经架构（CNN、ResNet 与 Transformer）来展示 FedTHE+（及其计算高效变体 FedTHE）相对于强劲竞争对手的先进性。与此同时，我们构建了一个用于评估部署期间个性化 FL 方法性能与鲁棒性的基准。代码：https://github.com/LINs-lab/FedTHE。
引用
@article{arxiv.2205.10920,
title = {Test-Time Robust Personalization for Federated Learning},
author = {Liangze Jiang and Tao Lin},
journal= {arXiv preprint arXiv:2205.10920},
year = {2023}
}
备注
Accepted to ICLR 2023 (LJ and TL contribute equally)