EarthDial：将多感知地球观测转化为交互式对话
计算机视觉与模式识别
2025-04-08 v2
摘要
通过交互式视觉-语言模型（VLM）自动分析庞大的地球观测数据可为环境监测、灾害响应和资源管理开辟新机遇。现有的通用VLM在遥感数据上表现不佳，而近期的地理空间VLM仍受限于固定分辨率和少数传感器模态。本文我们引入EarthDial，一个专为地球观测（EO）数据设计的对话助手，将复杂的多感知地球观察转化为交互式自然语言对话。EarthDial支持多光谱、多时空和多分辨率图像，支持远程感知任务，包括分类、检测、描述、问答、视觉推理和视觉定位。为实现这一目标，我们构建了一个覆盖RGB、合成孔径雷达（SAR）以及近红外（NIR）和红外等多光谱模态的1111万对指令微调数据集。此外，EarthDial处理双时空和多时空序列分析，用于变更检测等应用。我们的广泛实验结果在44个下游数据集上表明，EarthDial在各种EO任务上超越现有的通用和领域特定模型，实现更好的跨任务泛化。我们的源代码和预训练模型已公开。
引用
@article{arxiv.2412.15190,
title = {EarthDial: Turning Multi-sensory Earth Observations to Interactive Dialogues},
author = {Sagar Soni and Akshay Dudhane and Hiyam Debary and Mustansar Fiaz and Muhammad Akhtar Munir and Muhammad Sohail Danish and Paolo Fraccaro and Campbell D Watson and Levente J Klein and Fahad Shahbaz Khan and Salman Khan},
journal= {arXiv preprint arXiv:2412.15190},
year = {2025}
}