合成孔径雷达能否提高RSVQA性能？

远程感知视觉问答（RSVQA）近年来已涉及数个研究，导致新方法的增加。RSVQA自动从卫星图像中提取信息，目前仅使用光学图像，还会针对图像中的问题进行自动搜索并以文本形式提供答案。我们研究是否存在合成孔径雷达（SAR）图像对该领域有益。我们将研究分为三个阶段，包括分类方法和VQA。在第一阶段，我们探索仅使用SAR数据的分类结果，研究从SAR数据中提取信息的最佳方法。然后，我们研究SAR与光学数据的组合。在最后一阶段，我们研究SAR图像和不同模态的组合在RSVQA中如何表现，与仅使用光学图像的方法进行比较。我们得出结论，添加SAR模态会导致性能提升，尽管进一步的研究仍需探索如何利用SAR数据自动回答问题，以及需要更平衡的数据集。