FedPerfix：联邦学习中视觉 Transformer 的局部模型个性化方法
计算机视觉与模式识别
2023-08-21 v1 机器学习
摘要
个性化联邦学习（PFL）代表了异构数据环境下去中心化学习的一种有前景的解决方案。局部模型个性化通过选择性更新本地模型参数而非聚合全部参数，已被提出用于提升 PFL 的效率。然而，以往关于局部模型个性化的工作主要集中于卷积神经网络（CNN），在理解其如何应用于其他流行模型（如视觉 Transformer（ViT））方面存在空白。本工作中，我们研究了对 ViT 模型进行局部个性化的位置与方法。具体而言，我们通过实验评估了各类层对数据分布的敏感性。基于自注意力层与分类头是 ViT 中最敏感部分的发现，我们提出了一种称为 FedPerfix 的新方法，其利用插件将聚合模型的信息作为个性化传递给本地客户端。最后，我们在 CIFAR-100、OrganAMNIST 与 Office-Home 数据集上评估了所提方法，并证明其相较于若干先进 PFL 方法在提升模型性能方面的有效性。
引用
@article{arxiv.2308.09160,
title = {FedPerfix: Towards Partial Model Personalization of Vision Transformers in Federated Learning},
author = {Guangyu Sun and Matias Mendieta and Jun Luo and Shandong Wu and Chen Chen},
journal= {arXiv preprint arXiv:2308.09160},
year = {2023}
}
备注
2023 IEEE/CVF International Conference on Computer Vision (ICCV)