ImageRAG：基于 ImageRAG 增强超高分辨率遥感影像分析
计算机视觉与模式识别
2025-05-29 v4 人工智能
摘要
超高分辨率 (UHR) 遥感影像 (RSI) (如 100,000 × 100,000 像素或更大) 给当前遥感多模态大语言模型 (RSMLLM) 带来巨大挑战。若将 UHR 影像缩放至标准输入尺寸，UHR 影像包含的大量空间和上下文信息将被忽略；否则，这些影像的原始尺寸往往超出标准 RSMLLM 的令牌限制，难以处理整幅影像并捕捉长程依赖以基于丰富视觉上下文回答查询。本文针对遥感领域提出 ImageRAG，一种无需训练的框架，用于应对分析 UHR 遥感影像的复杂性。通过将 UHR 遥感影像分析任务转化为图像长上下文选择任务，我们基于检索增强生成 (RAG) 技术设计了一种创新的图像上下文检索机制，称为 ImageRAG。ImageRAG 的核心创新在于其能够选择性地检索并聚焦于与给定查询相关的 UHR 影像最相关部分作为视觉上下文。框架中提出快速路径和慢速路径以高效且有效地处理该任务。ImageRAG 使 RSMLLM 能够管理来自 UHR RSI 的大量上下文和空间信息，确保分析既准确又高效。代码库将在 https://github.com/om-ai-lab/ImageRAG 发布。
引用
@article{arxiv.2411.07688,
title = {ImageRAG: Enhancing Ultra High Resolution Remote Sensing Imagery Analysis with ImageRAG},
author = {Zilun Zhang and Haozhan Shen and Tiancheng Zhao and Zian Guan and Bin Chen and Yuhao Wang and Xu Jia and Yuxiang Cai and Yongheng Shang and Jianwei Yin},
journal= {arXiv preprint arXiv:2411.07688},
year = {2025}
}
备注
Accepted by IEEE Geoscience and Remote Sensing Magazine