基于文本反转的零样本组合图像检索
计算机视觉与模式识别
2023-08-22 v2 计算与语言
信息检索
摘要
组合图像检索（CIR）旨在基于由参考图像和描述两图像间差异的相对标题组成的查询来检索目标图像。为 CIR 标注数据集所需的高投入与高成本阻碍了现有方法的广泛使用，因为它们依赖监督学习。本工作中，我们提出新任务——零样本 CIR（ZS-CIR），旨在无需标注训练数据集的情况下解决 CIR。我们的方法名为基于文本反转的零样本组合图像检索（SEARLE），将参考图像的视觉特征映射到 CLIP 词元嵌入空间中的伪词词元，并与相对标题相融合。为支持 ZS-CIR 研究，我们引入了名为上下文常见物体组合图像检索（CIRCO）的开放域基准数据集，这是首个每个查询含多个真值的 CIR 数据集。实验表明，SEARLE 在 FashionIQ 和 CIRR 两个主要 CIR 数据集以及所提出的 CIRCO 上均优于基线。数据集、代码和模型公开于 https://github.com/miccunifi/SEARLE。
引用
@article{arxiv.2303.15247,
title = {Zero-Shot Composed Image Retrieval with Textual Inversion},
author = {Alberto Baldrati and Lorenzo Agnolucci and Marco Bertini and Alberto Del Bimbo},
journal= {arXiv preprint arXiv:2303.15247},
year = {2023}
}
备注
ICCV2023