基于多层次与注意力引导分词的零样本草图遥感图像检索

从遥感数据库中高效且有效地检索图像是遥感大数据领域的一项关键挑战。利用手绘草图作为检索输入具有直观和用户友好的优势，但草图多层次特征整合的潜力仍未得到充分探索，导致检索性能欠佳。为了填补这一空白，我们的研究引入了一种新颖的零样本、基于草图的遥感图像检索方法，该方法利用了多层次特征提取、自注意力引导的分词与过滤以及跨模态注意力更新。该方法仅使用视觉信息，不需要关于草图和图像的语义知识。它首先采用多层次自注意力引导的特征提取对查询草图进行分词，并采用自注意力特征提取对候选图像进行分词。然后采用交叉注意力机制在这两种模态之间建立 token 对应关系，从而促进草图到图像相似度的计算。在多个数据集上的测试证明，我们的方法显著优于现有的基于草图的遥感图像检索技术。值得注意的是，它在处理未见类别和新型遥感数据时也表现出强大的零样本学习能力和高度的泛化能力。通过对数据库中所有候选图像的检索 token 进行预计算，可以进一步提升该方法的可扩展性。本研究突出了多层次、注意力引导分词在跨模态遥感图像检索中的巨大潜力。为了促进更广泛的访问和研究便利，我们已将本研究中使用的代码和数据集在线公开。代码和数据集可在 https://github.com/Snowstormfly/Cross-modal-retrieval-MLAGT 获取。