CBEN -- 一种用于云健壮遥感图像理解的多模态机器学习数据集
计算机视觉与模式识别
2026-05-01 v2
摘要
云是常见的现象，会扭曲光学卫星图像，给遥感带来挑战。然而在已有文献中，常对无云图像进行分析，其中云cover图像被排除在机器学习数据集和方法之外。这种方法无法应用于时间敏感的应用，例如在自然灾害期间。在此情况下，一种可能的解决方案是将云移除作为预处理步骤，以确保云free解决方案在此类条件下不会失效。但云移除方法仍在积极研究，且存在诸多缺点，如生成视觉伪影。因此，发展对云不那么敏感的方法具有吸引力。可以通过将光学数据与雷达数据结合来实现云健壮方法，而雷达数据不受云影响。虽然许多机器学习数据集将光学数据和雷达数据组合在一起，但大多数研究人员排除云cover图像。我们将此在机器学习训练和评估中的排除视为一种限制，因而降低了对云cover情景的适用性。为调查此问题，我们组装了一个名为CloudyBigEarthNet (CBEN)的数据集，其中包含用于训练和评估的配对光学和雷达图像，带有云cover遮挡。我们采用平均精度(AP)作为评估指标，表明在云cover图像上评估时，基于组合无云光学和雷达图像训练的前沿方法性能下降23-33个百分点。随后，我们在训练时针对云cover光学数据对这些方法进行调整，在云cover测试案例中实现了相对于原始方法的17.2-28.7个百分点的相对改进。代码和数据集已公开提供：https://github.com/mstricker13/CBEN
引用
@article{arxiv.2602.12652,
title = {CBEN -- A Multimodal Machine Learning Dataset for Cloud Robust Remote Sensing Image Understanding},
author = {Marco Stricker and Masakazu Iwamura and Koichi Kise},
journal= {arXiv preprint arXiv:2602.12652},
year = {2026}
}
备注
We are currently in the process of selecting an appropriate journal for submission