SAR重生：面向遥感视觉问答的新希望

遥感视觉问答（RSVQA）是从卫星图像中提取信息以回答自然语言问题的任务，辅助图像解读。虽然已有多种方法用于光学图像（具有不同光谱带和分辨率），但仅近期才有针对高分辨率合成孔径雷达（SAR）图像的研究。SAR能够在所有天气条件下工作并捕获电磁特征，因而成为有前景的模态，但尚无研究将SAR与光学图像在RSVQA中进行比较或提出有效的融合策略。本工作探讨如何将SAR数据集成到RSVQA中以及如何最佳地将其与光学图像结合。我们提供一个使SAR支持RSVQA的数据集，并探索了该任务的两种管道：一种是端到端模型，另一种是两阶段框架：首先从SAR数据中提取信息并翻译为文本，然后由语言模型处理以生成最终答案。我们的结果表明，两阶段模型表现更好，准确率提高了近10%。我们还评估了结合SAR和光学数据的融合策略。基于决策的融合效果最佳，在提出的数据集上实现了75.00%的F1-micro得分、81.21%的F1-average得分和75.49%的总体准确率。SAR在针对特定土地覆盖类型（如水域）的问题方面尤为有益，证明其作为光学图像的补充模态具有重要价值。