FedBABU：面向联邦图像分类的增强表征
机器学习
2022-03-17 v3
摘要
联邦学习已发展为在数据异质性（视为诅咒）下改进单一全局模型，或利用数据异质性（视为福音）开发多个个性化模型。然而，鲜有研究同时考虑这两个方向。本文中，我们首先通过在客户端层面分析联邦平均（Federated Averaging）来考察二者关系，并确定更好的联邦全局模型性能并不总能改善个性化。为阐明这一个性化性能退化问题的成因，我们将整个网络解耦为与通用性相关的主体（提取器）以及与个性化相关的头部（分类器）。我们随后指出，该问题源于头部的训练。基于这一观察，我们提出一种新颖的联邦学习算法，称为 FedBABU，其在联邦训练期间仅更新模型的主体（即头部随机初始化且从不更新），而头部在评估过程中经微调以实现个性化。大量实验显示了 FedBABU 一致的性能提升与高效的个性化。代码见 https://github.com/jhoon-oh/FedBABU。
引用
@article{arxiv.2106.06042,
title = {FedBABU: Towards Enhanced Representation for Federated Image Classification},
author = {Jaehoon Oh and Sangmook Kim and Se-Young Yun},
journal= {arXiv preprint arXiv:2106.06042},
year = {2022}
}
备注
Published at ICLR 2022