用于遥感图像分类的多模态联邦学习框架
计算机视觉与模式识别
2025-03-14 v1
摘要
联邦学习(FL)能够在不共享各客户端本地数据的情况下，跨越去中心化数据档案(即客户端)协作训练深度神经网络。大多数现有的FL方法假设分布在所有客户端中的数据关联相同的数据模态。然而，不同客户端中的遥感(RS)图像可能关联多种数据模态。多模态RS数据的联合使用可以显著提升分类性能。为有效利用去中心化且不共享的多模态RS数据，本文提出了一种用于RS图像分类问题的新型多模态FL框架。所提出的框架包含三个模块：1)多模态融合(MF)；2)特征白化(FW)；3)互信息最大化(MIM)。MF模块采用迭代模型平均来促进学习，而无需访问客户端上的多模态训练数据。FW模块旨在通过对齐各客户端之间的数据分布来解决训练数据异质性的局限性。MIM模块旨在通过最大化不同模态图像之间的相似性来建模互信息。在实验分析中，我们聚焦于RS中的多标签分类和基于像素的分类任务。两个基准数据集上的结果表明，所提出的框架与文献中最先进算法相比具有有效性。所提出框架的代码将在https://git.tu-berlin.de/rsim/multi-modal-FL上公开。
引用
@article{arxiv.2503.10262,
title = {A Multi-Modal Federated Learning Framework for Remote Sensing Image Classification},
author = {Barış Büyüktaş and Gencer Sumbul and Begüm Demir},
journal= {arXiv preprint arXiv:2503.10262},
year = {2025}
}