你永远不会独行：用于细粒度图像检索的草图与文本二重奏

图像检索中主要存在两种输入模态：草图和文本。虽然文本广泛用于跨类别检索任务，但草图因其捕捉复杂视觉细节的能力，已成为细粒度图像检索的唯一首选模态。在本文中，我们质疑仅依赖草图进行细粒度图像检索的做法，转而同时探索草图和文本的细粒度表示能力，并协调二者形成“二重奏”。最终结果实现了以往无法达到的精确检索，使用户能够提出更精细的查询，并从文本中融入颜色和上下文线索等属性。为此，我们引入了一种新颖的组合框架，利用预训练的 CLIP 模型有效结合草图和文本，同时消除了对大量细粒度文本描述的需求。最后，我们的系统扩展至组合图像检索、领域属性迁移和细粒度生成等新应用，为各种现实场景提供了解决方案。