面向联邦学习的自适应测试时个性化
机器学习
2023-10-31 v1
摘要
个性化联邦学习算法在使模型适应各种分布偏移方面已展现出可喜结果。然而，此类方法大多需要测试客户端拥有标注数据以进行个性化，而现实场景中通常不可用。本文引入一种称为测试时个性化联邦学习 (TTPFL) 的新设定，其中客户端在测试时以无监督方式局部适配全局模型，不依赖任何标注数据。虽然传统测试时适应 (TTA) 可用于该场景，但其大多固有地假设训练数据来自单一域，而实际来自具有不同分布的多个客户端（源域）。忽视这些域间关联会导致次优泛化。此外，大多数 TTA 算法针对特定分布偏移设计，缺乏处理 FL 中多种分布偏移的灵活性。本文发现该灵活性的缺乏部分源于其预定义模型中待适配模块。为应对此挑战，我们提出一种称为 ATP 的新算法，从源域间分布偏移自适应地学习模型中各模块的适配率。理论分析证明了 ATP 的强泛化性。大量实验展示了其在处理包括标签偏移、图像损坏与域偏移在内的多种分布偏移上的优越性，在多个数据集与模型架构上超越现有 TTA 方法。我们的代码见 https://github.com/baowenxuan/ATP 。
引用
@article{arxiv.2310.18816,
title = {Adaptive Test-Time Personalization for Federated Learning},
author = {Wenxuan Bao and Tianxin Wei and Haohan Wang and Jingrui He},
journal= {arXiv preprint arXiv:2310.18816},
year = {2023}
}
备注
Accepted by NeurIPS 2023