Panopticon：推进面向地球观测的任意传感器基础模型
机器学习
2025-08-04 v2
摘要
地球观测（EO）数据具有多样的传感平台，其光谱波段、空间分辨率和传感模态各不相同。虽然大多数先前的工作将输入限制在固定传感器上，但最近出现了一类能够处理任意传感器的任意传感器基础模型。作为对这一研究方向的贡献，我们提出了 Panopticon，一种基于 DINOv2 框架构建的任意传感器基础模型。我们通过以下方式扩展了 DINOv2：(1) 将不同传感器间相同地理位置的图像视为自然增强，(2) 对通道进行子采样以实现光谱输入的多样化，以及 (3) 在通道上添加交叉注意力作为灵活的 patch 嵌入机制。通过分别编码光学和合成孔径雷达传感器的波长与模式，Panopticon 能够有效处理任意通道的任何组合。在广泛的评估中，我们在 GEO-Bench 上取得了 SOTA 性能，特别是在广泛使用的 Sentinel-1 和 Sentinel-2 传感器上，同时在独特的传感器配置上胜过其他任意传感器模型以及领域自适应的固定传感器模型。Panopticon 能够直接泛化到现有和未来的卫星平台，推动了传感器无关的地球观测。
引用
@article{arxiv.2503.10845,
title = {Panopticon: Advancing Any-Sensor Foundation Models for Earth Observation},
author = {Leonard Waldmann and Ando Shah and Yi Wang and Nils Lehmann and Adam J. Stewart and Zhitong Xiong and Xiao Xiang Zhu and Stefan Bauer and John Chuang},
journal= {arXiv preprint arXiv:2503.10845},
year = {2025}
}
备注
First two authors contributed equally. Code is available at: https://github.com/Panopticon-FM/panopticon. Accepted to CVPR 2025