X-ModalNet：一种用于遥感数据分类的半监督深度跨模态网络
计算机视觉与模式识别
2020-07-14 v2
摘要
本文解决了遥感中跨模态数据有限条件下的半监督迁移学习问题。大量多模态地球观测图像，如多光谱影像(MSI)或合成孔径雷达(SAR)数据，在全球尺度上公开可用，使得通过遥感影像解析全球城市场景成为可能。然而，由于采集环境噪声大、判别信息贫乏以及良好标注训练图像数量有限，它们在材料识别（逐像素分类）方面的能力仍然受限。为此，我们提出一种新颖的跨模态深度学习框架，称为 X-ModalNet，其包含三个精心设计的模块：自对抗模块、交互学习模块和标签传播模块，通过学习将小尺度高光谱图像(HSI)中更具判别性的信息迁移到使用大尺度 MSI 或 SAR 数据的分类任务中。值得注意的是，X-ModalNet 泛化良好，这归功于在网络顶端由高层特征构建的可更新图上传播标签，从而实现半监督跨模态学习。我们在两个多模态遥感数据集(HSI-MSI 和 HSI-SAR)上评估了 X-ModalNet，并与几种最先进的方法相比取得了显著改进。
引用
@article{arxiv.2006.13806,
title = {X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for Classification of Remote Sensing Data},
author = {Danfeng Hong and Naoto Yokoya and Gui-Song Xia and Jocelyn Chanussot and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2006.13806},
year = {2020}
}