零样本多光谱学习：将通用多模态 Gemini 2.5 模型重新应用于遥感任务
计算机视觉与模式识别
2025-09-24 v1
摘要
多光谱图像在土地利用分类、环境监测和城市规划等多种遥感应用中发挥着至关重要的作用。这些图像被广泛采用，因为其额外的光谱波段与地面的物理材料（如冰、水和植被）高度相关。这使得识别更为准确，而且它们从 Sentinel-2 和 Landsat 等任务中的公开可用性更进一步增加了其价值。目前，此类数据的自动分析主要通过专门为多光谱输入训练的机器学习模型进行管理，这些模型的训练和支持成本高昂。此外，尽管这些额外输入为遥感提供了大量效用，但它们无法与强大的通用大型多模态模型一起使用，这些模型能够解决许多视觉问题，但无法理解专门的多光谱信号。为了解决这个问题，我们提出了一种免训练方法，以仅零样本的方式引入新的多光谱数据，作为在仅 RGB 输入上训练的通用多模态模型的输入。我们的方法利用多模态模型对视觉空间的理解，提出将输入适配至该空间，并将领域特定信息作为指令注入模型。我们以 Gemini2.5 模型为例展示了这一想法，并观察到该方法在流行的遥感土地覆盖和土地利用分类基准上取得了强大的零样本性能提升，证明了 Gemini2.5 对新输入的轻松适应性。这些结果突显了地球空间专业人员在使用非标准专门输入时，能够轻松利用如 Gemini2.5 这样强大的多模态模型来加速其工作的潜力，从而受益于其基于专门传感器数据的丰富推理和上下文能力。
关键词
引用
@article{arxiv.2509.19087,
title = {Zero-Shot Multi-Spectral Learning: Reimagining a Generalist Multimodal Gemini 2.5 Model for Remote Sensing Applications},
author = {Ganesh Mallya and Yotam Gigi and Dahun Kim and Maxim Neumann and Genady Beryozkin and Tomer Shekel and Anelia Angelova},
journal= {arXiv preprint arXiv:2509.19087},
year = {2025}
}