基于Transformer的多模态学习用于多标签遥感图像分类
计算机视觉与模式识别
2023-06-05 v1 机器学习
摘要
本文在遥感（RS）图像多模态多标签分类（MLC）框架下引入一种新颖的同步类令牌融合（SCT Fusion）架构。所提架构利用模态特定的基于注意力的transformer编码器处理变化的输入模态，同时在每个transformer编码器块之后通过同步特殊类令牌实现跨模态信息交换。该同步涉及以可训练的融合变换融合类令牌，产生包含来自所有模态信息的同步类令牌。由于融合变换可训练，其允许达到不同模态间共享特征的准确表示。实验结果表明，当在多模态MLC数据集上评估时，所提架构优于单模态架构与早期融合多模态架构。所提架构的代码公开于 https://git.tu-berlin.de/rsim/sct-fusion。
引用
@article{arxiv.2306.01523,
title = {Transformer-based Multi-Modal Learning for Multi Label Remote Sensing Image Classification},
author = {David Hoffmann and Kai Norman Clasen and Begüm Demir},
journal= {arXiv preprint arXiv:2306.01523},
year = {2023}
}
备注
Accepted at IEEE International Geoscience and Remote Sensing Symposium 2023