生成用于训练自由零样本组合图像检索的 Paracosm
计算机视觉与模式识别
2026-03-13 v4
摘要
组合图像检索 (CIR) 是使用由参考图像和修改文本组成的多模态查询从数据库中检索目标图像的任务。文本指定如何改变参考图像以形成一种"精神图像"，据此 CIR 应在数据库中查找目标图像。CIR 的根本挑战在于这种"精神图像"并非物理可用，仅由查询隐式定义。当代文献探索零样本方法，利用大型多模态模型 (LMM) 为给定的多模态查询生成文本描述，然后采用视觉语言模型 (VLM) 进行文本-视觉匹配以搜索目标图像。相反，我们从原理出发，直接生成"精神图像"以实现更精确的匹配。特别地，我们引导 LMM 为给定的多模态查询生成"精神图像"，并提出使用该"精神图像"来搜索目标图像。由于"精神图像"与真实图像之间存在合成到真实的域间隙，我们还为数据库中的每个真实图像生成一个合成对应物，以便进行匹配。从而，该方法使用 LMM 构建一个"Paracosm"，其中匹配多模态查询和数据库图像。因此，我们称该方法为 Paracosm。值得注意的是，Paracosm 是一种无训练零样本 CIR 方法。在具有挑战性的基准测试上，它显著优于现有零样本方法，实现了零样本 CIR 的最先进性能。
引用
@article{arxiv.2602.00813,
title = {Generating a Paracosm for Training-Free Zero-Shot Composed Image Retrieval},
author = {Tong Wang and Yunhan Zhao and Shu Kong},
journal= {arXiv preprint arXiv:2602.00813},
year = {2026}
}