中文

基于预训练多模态变换器的传感器自适应洪水映射

计算机视觉与模式识别 2025-09-30 v1 人工智能

摘要

洪水是日益频发的自然灾害,造成广泛的人力和经济损失,凸显了快速准确洪水浸润图绘制的关键需求。尽管遥感技术已提高了洪水监测能力,但仍面临操作挑战:单一传感器方法受限于天气依赖的数据可用性和更换周期有限,而多传感器融合方法则需要大量计算资源和大规模标记数据集。为解决这些限制,本研究引入一种新型传感器灵活的洪水检测方法,通过微调Presto——一种轻量级(约0.4M参数)多模态预训练变换器,处理合成孔径雷达(SAR)和多光谱(MS)数据。我们的做法独特地通过单一模型架构,使洪水映射能够使用SAR-only、MS-only或组合SAR+MS输入,满足灾害发生时可用传感器数据的最先进需求。我们在Sen1Floods11数据集上对比了大规模Prithvi-100M基线(约100M参数),并在三个现实数据可用性场景中进行评估。在最优传感器融合场景中,本方法实现了F1得分0.896和mIoU 0.886,超过 established基线。关键的是,该模型在MS-only场景中(F1: 0.893)保持有效性能,在具有挑战性的SAR-only条件下(F1: 0.718)仍具功能性,确认了多模态预训练对操作性洪水映射的优势。我们的方法参数高效、传感器灵活,为需要快速评估灾害情境下洪涝范围的实际场景提供了可访问且稳健的解决方案。

关键词

引用

@article{arxiv.2509.23035,
  title  = {Sensor-Adaptive Flood Mapping with Pre-trained Multi-Modal Transformers across SAR and Multispectral Modalities},
  author = {Tomohiro Tanaka and Narumasa Tsutsumida},
  journal= {arXiv preprint arXiv:2509.23035},
  year   = {2025}
}

备注

8 pages, 2 figures