基于神经符号推理的遥感文本到图像检索：使用复杂查询的基础模型

遥感文本到图像检索由于针对航空和卫星图像量身定制的大型视觉语言模型 (LVLMs) 的兴起而取得了快速进展，最终催生了遥感大型视觉语言模型 (RS-LVLMs)。然而，解释性有限且难以处理复杂空间关系仍是实际应用中的关键挑战。为此，我们引入了 RUNE (Reasoning Using Neurosymbolic Entities)，一种结合大型语言模型 (LLMs) 和神经符号人工智能的方法，通过推理检测到的实体与文本查询派生的第一阶逻辑 (FOL) 表达式之间的兼容性来检索图像。不同于依赖隐式联合嵌入的 RS-LVLMs，RUNE 采用显式推理，从而提升性能和可解释性。为实现可扩展性，我们提出一种在检测到的实体的条件子集上运行的逻辑分解策略，保证执行时间短于神经方法。RUNE 不会针对端到端检索使用基础模型，而是仅用于生成 FOL 表达式，将推理委托给神经符号推理模块。为进行评估，我们将 DOTA 数据集进行扩充，增添了比现有基准更复杂的查询。我们展示了 LLM 在文本到逻辑翻译方面的有效性，并与最先进的 RS-LVLMs 进行比较，证明其性能优越。我们引入了两个指标：检索查询复杂度鲁棒性 (RRQC) 和检索图像不确定性鲁棒性 (RRIU)，分别评估模型在查询复杂度和图像不确定性下的表现。RUNE 在复杂遥感检索任务中超越联合嵌入模型，实现了性能、鲁棒性和可解释性的提升。我们通过在洪灾卫星图像检索中的一个实际应用案例，展示了 RUNE 在实际遥感应用中的潜力。