OmniSat：面向地球观测的自监督模态融合
计算机视觉与模式识别
2024-07-18 v3
摘要
用于地球观测 (EO) 的传感器的多样性与互补性呼吁开发专门的自监督多模态学习方法。然而，当前的多模态 EO 数据集和模型通常专注于单一数据类型，要么是单日期图像，要么是时间序列，这限制了它们的影响力。为了解决这一问题，我们引入了 OmniSat，一种新颖的架构，能够通过利用对齐关系将多样的 EO 模态融合为具有表达力的特征而无需标签。为了展示我们方法的优势，我们通过用新模态增强现有数据集创建了两个新的多模态数据集。正如在三个下游任务——林业、土地覆盖分类和作物制图——中所展示的，OmniSat 能够在无监督下学习丰富的表示，在半监督和全监督设置中取得 SOTA 性能。此外，即使在推理时只有一种模态可用，我们的多模态预训练方案也能提升性能。代码和数据集可在 https://github.com/gastruc/OmniSat 获取。
引用
@article{arxiv.2404.08351,
title = {OmniSat: Self-Supervised Modality Fusion for Earth Observation},
author = {Guillaume Astruc and Nicolas Gonthier and Clement Mallet and Loic Landrieu},
journal= {arXiv preprint arXiv:2404.08351},
year = {2024}
}