基于Transformer的联邦学习用于多标签遥感图像分类
计算机视觉与模式识别
2024-05-27 v1
摘要
联邦学习旨在从分散的数据档案（即客户端）协作学习深度学习模型参数，而不访问客户端上的训练数据。然而，跨客户端的训练数据可能不是独立同分布的（non-IID），这可能导致难以实现最优模型收敛。在这项工作中，我们研究了最先进的Transformer架构（即MLP-Mixer、ConvMixer、PoolFormer）在遥感（RS）多标签分类（MLC）问题的联邦学习背景下，应对不同客户端间非IID训练数据相关挑战的能力。所考虑的Transformer架构在以下方面相互比较并与ResNet-50架构进行比较：1）对训练数据异质性的鲁棒性；2）局部训练复杂度；3）不同非IID水平下的聚合复杂度。在BigEarthNet-S2基准档案上获得的实验结果表明，所考虑的架构以更高的局部训练和聚合复杂度为代价提高了泛化能力。基于我们的分析，为在遥感多标签分类的联邦学习背景下正确选择Transformer架构提供了一些指导。本工作的代码公开于https://git.tu-berlin.de/rsim/FL-Transformer。
引用
@article{arxiv.2405.15405,
title = {Transformer-based Federated Learning for Multi-Label Remote Sensing Image Classification},
author = {Barış Büyüktaş and Kenneth Weitzel and Sebastian Völkers and Felix Zailskas and Begüm Demir},
journal= {arXiv preprint arXiv:2405.15405},
year = {2024}
}
备注
Accepted at IEEE International Geoscience and Remote Sensing Symposium (IGARSS) 2024. Our code is available at https://git.tu-berlin.de/rsim/FL-Transformer