双头龙：多模态融合与跨模态交互
计算机视觉与模式识别
2021-07-27 v1 机器学习
图像与视频处理
摘要
随着遥感领域的发展，我们见证了来自多光谱（MS）、高光谱（HSI）、激光雷达（LiDAR）等多种模态信息的积累。每种模态都具有其独特的特征，当它们协同结合时，在识别和分类任务中表现非常出色。然而，由于领域差异巨大，在遥感中融合多种模态十分繁琐。此外，现有方法未能促进跨模态交互。为此，我们提出了一种新颖的基于 Transformer 的 HSI 和 LiDAR 模态融合方法。该模型由堆叠自编码器组成，利用 HSI 和 LiDAR 的交叉键值对，从而在两种模态之间建立通信，同时使用 CNN 从 HSI 和 LiDAR 中提取光谱和空间信息。我们在 Houston（2013 年数据融合竞赛）和 MUUFL Gulfport 数据集上测试了我们的模型，并取得了有竞争力的结果。
引用
@article{arxiv.2107.11585,
title = {Two Headed Dragons: Multimodal Fusion and Cross Modal Transactions},
author = {Rupak Bose and Shivam Pande and Biplab Banerjee},
journal= {arXiv preprint arXiv:2107.11585},
year = {2021}
}
备注
Accepted in IEEE International conference on Image Processing (ICIP), 2021