利用 Transformer 增强大规模异构联邦学习的前景
机器学习
2023-08-23 v2
摘要
联邦学习（FL）通过支持跨分布式数据拥有者协同训练 AI 模型来解决数据隐私问题。FL 的广泛采用面临数据异构性和所涉及数据拥有者规模庞大这一根本挑战。在本文中，我们研究了基于 Transformer 的 FL 模型在此场景下实现泛化与个性化的前景。我们开展了涉及 Transformer、ResNet 和基于个性化 ResNet 的 FL 方法在各种场景下的广泛对比实验。这些实验考虑了不同数量的数据拥有者，以展示 Transformer 在大规模异构 FL 任务中相对于深度神经网络的优势。此外，我们通过比较不同层和 FL 模型间的居中核对齐（CKA）表示相似性来分析 Transformer 的优越性能，从而深入理解其良好能力背后的原因。
引用
@article{arxiv.2308.03945,
title = {The Prospect of Enhancing Large-Scale Heterogeneous Federated Learning with Transformers},
author = {Yulan Gao and Zhaoxiang Hou and Chengyi Yang and Zengxiang Li and Han Yu},
journal= {arXiv preprint arXiv:2308.03945},
year = {2023}
}