FedTune：基于预训练 Transformer 的高效联邦微调深入探究
机器学习
2022-11-16 v1 计算与语言
计算机视觉与模式识别
摘要
联邦学习（FL）是一种新兴范式，使分布式用户能够在不共享私有数据的情况下协作且迭代地训练机器学习模型。受基于自注意力架构的有效性与鲁棒性驱动，研究者正转向在 FL 中使用预训练 Transformer（即基础模型）替代传统卷积神经网络，以利用其优异的迁移学习能力。尽管已有近期进展，预训练 Transformer 模型在 FL 中如何发挥作用仍不明晰，即如何高效地在 FL 中微调这些预训练模型，以及 FL 用户如何从此新范式获益。本文探究该问题，并表明微调后的 Transformer 在 FL 上取得卓越性能，且轻量级微调方法带来快速收敛速率与低通信成本。具体地，我们使用两类预训练模型（即视觉-语言模型与视觉模型）对 FL 中的三种微调方法（即修改输入、添加额外模块、调整骨干网络）进行了严谨的实证研究。我们的实验表明：1）在依赖强预训练模型时，微调骨干网络的偏置项表现最佳；2）视觉-语言模型（如 CLIP）优于纯视觉模型（如 ViT），且对少样本设置更鲁棒；3）相较于纯本地训练，带预训练模型的 FL 具有更高准确率，因其缓解了过拟合问题。我们将发布代码，并鼓励对预训练 Transformer 与 FL 的进一步探索。
引用
@article{arxiv.2211.08025,
title = {FedTune: A Deep Dive into Efficient Federated Fine-Tuning with Pre-trained Transformers},
author = {Jinyu Chen and Wenchao Xu and Song Guo and Junxiao Wang and Jie Zhang and Haozhao Wang},
journal= {arXiv preprint arXiv:2211.08025},
year = {2022}
}