iSEARLE：改进零样本组合图像检索的文本反转

给定一个由参考图像和相对描述组成的查询，组合图像检索（CIR）旨在检索与参考图像视觉相似且同时包含相对描述中指定变化的目标图像。监督方法对人工标注数据集的依赖限制了其广泛适用性。在这项工作中，我们引入了一个新任务——零样本CIR（ZS-CIR），它无需标注训练数据集即可解决CIR问题。我们提出了一种名为iSEARLE（改进的零样本组合图像检索与文本反转）的方法，该方法涉及将参考图像的视觉信息映射到CLIP标记嵌入空间中的一个伪词标记，并将其与相对描述相结合。为了促进对ZS-CIR的研究，我们提出了一个开放域基准数据集CIRCO（上下文常见对象上的组合图像检索），这是第一个每个查询都标注了多个真实值和语义分类的CIR数据集。实验结果表明，iSEARLE在三个不同的CIR数据集——FashionIQ、CIRR和提出的CIRCO——以及两个额外的评估设置（域转换和对象组合）上获得了最先进的性能。数据集、代码和模型可在https://github.com/miccunifi/SEARLE公开获取。