RescueADI: 基于自主智能体的遥感图像自适应灾害解读
计算机视觉与模式识别
2024-10-18 v1
摘要
当前的遥感图像（RSI）灾害场景解读方法主要聚焦于分割、检测或视觉问答（VQA）等孤立任务。然而，这些方法在需要组合多种感知方法和专业工具才能完成的任务时往往难以胜任。为填补这一空白，本文提出一种新颖任务——自适应灾害解读（ADI），通过规划和执行多个顺序关联的解读任务，为灾害场景提供综合性分析。为促进该领域的研究与应用，我们构建了一个新数据集 RescueADI，包含 4,044 张高分辨率遥感图像，标注了规划、感知和识别三个相互关联的方面，包括 16,949 个语义掩码、14,483 个目标边界框和 13,424 个解读请求，覆盖九种具有挑战性的请求类型。此外，我们提出一种新型灾害解读方法，采用由大语言模型（LLM）驱动的自主智能体进行任务规划与执行，证明其在处理复杂灾害解读任务中具有有效性。该代理方法能够无需人工干预地解决各种复杂解读请求，如计数、面积计算和路径查找，而传统单一任务方法难以实现。RescueADI 数据集将对外公开。
引用
@article{arxiv.2410.13384,
title = {RescueADI: Adaptive Disaster Interpretation in Remote Sensing Images with Autonomous Agents},
author = {Zhuoran Liu and Danpei Zhao and Bo Yuan},
journal= {arXiv preprint arXiv:2410.13384},
year = {2024}
}