通过引导输入与链式思考解锁多光谱数据以用于多模态模型
计算机视觉与模式识别
2026-04-24 v1
摘要
多光谱图像是遥感应用（如土地利用和土地覆盖分类及环境监测）的宝贵输入信号。然而，通用型大型多模态模型 (LMM) 通常在 RGB 图像上进行训练，限制了其在 RGB 领域的适用性。同时，训练多光谱多模态模型成本高昂，并产生专门化的模型。为此，我们提出了一种新颖的无训练方法，通过推理管道引入多光谱数据于标准 RGB-only LMM 中，实现显著性能提升。我们的方法利用 LMM 对视觉空间的理解，通过适应非 RGB 输入并注入特定领域信息和链式思考推理作为指令。我们以 Gemini 2.5 模型为例进行演示，观察到在流行遥感基准测试上实现强大的零样本性能提升。这些结果凸显了地理专业人员利用强大通用模型处理专用传感器输入的潜力，受益于基于专用数据的丰富推理能力。
引用
@article{arxiv.2604.21032,
title = {Unlocking Multi-Spectral Data for Multi-Modal Models with Guided Inputs and Chain-of-Thought Reasoning},
author = {Dahun Kim and Ganesh Satish Mallya and Anelia Angelova},
journal= {arXiv preprint arXiv:2604.21032},
year = {2026}
}
备注
Accepted to IGARSS 2026