用于遥感图像视觉问答的分割引导注意力
计算机视觉与模式识别
2024-07-12 v1
摘要
遥感视觉问答（RSVQA）是一项旨在回答关于遥感图像内容的自然语言问题的任务。因此，视觉特征提取是VQA流程中的一个关键步骤。通过将注意力机制引入该过程，模型获得了选择性地聚焦于图像显著区域的能力，从而为给定问题优先处理最相关的视觉信息。在这项工作中，我们提出将分割引导的注意力机制嵌入到RSVQA流程中。我们认为，分割通过提供视觉信息的上下文理解、突出特定对象或感兴趣区域，在引导注意力方面发挥着至关重要的作用。为了评估该方法，我们提供了一个新的VQA数据集，该数据集利用以16个分割类别和问答对进行标注的超高分辨率RGB正射影像图。我们的研究表明，我们的新方法取得了可喜的成果，在所提出的数据集上与经典方法相比，总体准确率提高了近10%。
引用
@article{arxiv.2407.08669,
title = {Segmentation-guided Attention for Visual Question Answering from Remote Sensing Images},
author = {Lucrezia Tosato and Hichem Boussaid and Flora Weissgerber and Camille Kurtz and Laurent Wendling and Sylvain Lobry},
journal= {arXiv preprint arXiv:2407.08669},
year = {2024}
}
备注
Accepted to IGARSS 2024