更多模态意味着更好：多模态深度学习应用于遥感影像分类
计算机视觉与模式识别
2020-08-13 v1 图像与视频处理
摘要
对地物表层或地下材料的分类与识别长期以来是地球科学与遥感（RS）中基础而具挑战的研究课题，并因深度学习技术的近期进展而受到日益关注。尽管深度网络已成功应用于单模态主导的分类任务，但由于信息多样性的局限，其在需精细分类的复杂场景中性能不可避免地遭遇瓶颈。本工作中，我们通过在发展通用多模态深度学习（MDL）框架，为上述困难提供基线解决方案。特别地，我们还考察了多模态学习（MML）的一种特例——广泛存在于RS图像分类应用中的跨模态学习（CML）。通过聚焦“什么”、“何处”与“如何”融合，我们展示了不同的融合策略以及怎样训练深度网络与构建网络架构。具体而言，引入并发展了五种融合架构，进一步统一于我们的MDL框架中。更重要的是，我们的框架不仅限于像素级分类任务，亦适用于利用卷积神经网络（CNNs）的空间信息建模。为验证MDL框架的有效性与优越性，在两个不同多模态RS数据集上开展了关MML与CML设置的大量实验。此外，代码与数据集将发布于 https://github.com/danfenghong/IEEE_TGRS_MDL-RS，以贡献于RS社区。
引用
@article{arxiv.2008.05457,
title = {More Diverse Means Better: Multimodal Deep Learning Meets Remote Sensing Imagery Classification},
author = {Danfeng Hong and Lianru Gao and Naoto Yokoya and Jing Yao and Jocelyn Chanussot and Qian Du and Bing Zhang},
journal= {arXiv preprint arXiv:2008.05457},
year = {2020}
}