面向交互式图像检索的语言引导局部渗透方法

交互式图像检索（IIR）旨在检索与参考图像总体相似但经过所请求文本修改的图像。现有方法通常简单粗略地将图像与文本特征拼接或相加，然而这难以精确改变文本意图修改的图像局部语义。为解决该问题，我们提出了一种语言引导局部渗透（LGLI）系统，其充分利用文本信息并尽可能将文本特征渗透入图像特征。具体而言，我们首先提出语言提示视觉定位（LPVL）模块以生成定位掩码，显式定位意图被修改的区域（语义）。随后我们引入具有局部感知的文本渗透（TILA）模块，部署于网络中以精确修改参考图像并生成图文渗透表征。在多个基准数据库上的大量实验验证了我们的方法优于大多数最先进的 IIR 方法。