BigEarthNet-MM：用于遥感图像分类与检索的大规模多模态多标签基准档案
摘要
本文提出了多模态BigEarthNet（BigEarthNet-MM）基准档案，由590,326对Sentinel-1和Sentinel-2图像块组成，以支持多模态多标签遥感(RS)图像检索与分类中的深度学习(DL)研究。BigEarthNet-MM中的每一对图像块均根据其主题上最详细的Level-3类命名法，由2018年CORINE土地覆盖(CLC)地图提供多标签标注。我们的初步研究表明，仅考虑（单日期）BigEarthNet-MM图像难以准确描述某些CLC类别。本文还引入了作为一种对原始CLC标签演进而来的替代类命名法以解决该问题。这是通过基于BigEarthNet-MM图像的特性对CLC Level-3命名法进行解释和重排，形成包含19个类别的新命名法来实现的。在我们的实验中，通过考虑若干最先进的DL模型，展示了BigEarthNet-MM在多模态多标签图像检索与分类问题上的潜力。我们还证明，在BigEarthNet-MM上从头训练的DL模型优于那些在ImageNet上预训练的模型，尤其在一些复杂类别（包括农业及其他植被和自然环境的类别）方面。我们在 https://bigearth.net 公开所有数据与DL模型，为支持RS中多模态图像场景分类与检索问题的研究提供重要资源。
引用
@article{arxiv.2105.07921,
title = {BigEarthNet-MM: A Large Scale Multi-Modal Multi-Label Benchmark Archive for Remote Sensing Image Classification and Retrieval},
author = {Gencer Sumbul and Arne de Wall and Tristan Kreuziger and Filipe Marcelino and Hugo Costa and Pedro Benevides and Mário Caetano and Begüm Demir and Volker Markl},
journal= {arXiv preprint arXiv:2105.07921},
year = {2021}
}
备注
Accepted at the IEEE Geoscience and Remote Sensing Magazine. Our code is available online at https://git.tu-berlin.de/rsim/BigEarthNet-MM_19-classes_models. arXiv admin note: substantial text overlap with arXiv:2001.06372