FoMo：面向森林监测的多模态、多尺度、多任务遥感基础模型
计算机视觉与模式识别
2025-02-25 v3
摘要
森林对生态系统至关重要，支撑着生物多样性和基本服务，但由于土地利用和气候变化，森林正在迅速变化。理解和减轻负面影响需要解析来自广泛传感器模态的全球尺度森林数据，并将其用于各种森林监测应用。这种数据和应用的多样性可以通过开发一个大型预训练基础模型来有效解决，该模型作为各种下游任务的通用基础。然而，遥感模态非常适合多项森林管理任务，但考虑到环境条件、目标尺度、图像采集模式、时空分辨率等的变化，尤其具有挑战性。基于此，我们提出了第一个统一的森林监测基准（FoMo-Bench），精心构建以评估具有这种灵活性的基础模型。FoMo-Bench包含15个多样化数据集，涵盖卫星、航空和清单数据，覆盖多种地理区域，包括多光谱、红绿蓝、合成孔径雷达和LiDAR数据，具有各种时间、空间和光谱分辨率。FoMo-Bench包含多种类型的森林监测任务，涵盖分类、分割和目标检测。为了增强FoMo-Bench中的任务和地理多样性，我们引入了TalloS，一个结合卫星图像与地面标注的全球数据集，用于1000多个类别和层次分类级别的树种分类。最后，我们提出了FoMo-Net，一个预训练框架，用于开发能够处理遥感中常用模态和光谱波段任意组合的基础模型。
引用
@article{arxiv.2312.10114,
title = {FoMo: Multi-Modal, Multi-Scale and Multi-Task Remote Sensing Foundation Models for Forest Monitoring},
author = {Nikolaos Ioannis Bountos and Arthur Ouaknine and Ioannis Papoutsis and David Rolnick},
journal= {arXiv preprint arXiv:2312.10114},
year = {2025}
}
备注
Accepted at the 39th Annual AAAI Conference on Artificial Intelligence, AI for Social Impact track