先推理后检索：面向免训练零样本组合图像检索的单阶段反思思维链
计算机视觉与模式识别
2024-12-23 v3
摘要
组合图像检索旨在检索与参考图像高度相似并同时整合用户指定文本修改的目标图像，从而更精确地捕捉用户意图。现有的免训练零样本 CIR 方法通常采用两阶段过程：首先为参考图像生成描述，然后使用大型语言模型进行推理以获得目标描述。然而，这些方法存在丢失关键视觉细节和推理能力有限的问题，导致检索性能欠佳。为了应对这些挑战，我们提出了一种新型的免训练单阶段方法，用于 ZS-CIR 的单阶段反思思维链推理，该方法采用多模态大型语言模型在单阶段推理过程中保留必要的视觉信息，消除了两阶段方法中出现的信息丢失。我们的反思思维链框架通过将操作意图与参考图像中的上下文线索对齐，进一步提高了理解准确率。与现有的免训练方法相比，OSrCIR 在多个任务上实现了 1.80% 至 6.44% 的性能提升，在 ZS-CIR 中创造了新的最先进结果，并增强了其在视觉-语言应用中的实用性。我们的代码将在 https://github.com/Pter61/osrcir2024/ 提供。
引用
@article{arxiv.2412.11077,
title = {Reason-before-Retrieve: One-Stage Reflective Chain-of-Thoughts for Training-Free Zero-Shot Composed Image Retrieval},
author = {Yuanmin Tang and Xiaoting Qin and Jue Zhang and Jing Yu and Gaopeng Gou and Gang Xiong and Qingwei Ling and Saravan Rajmohan and Dongmei Zhang and Qi Wu},
journal= {arXiv preprint arXiv:2412.11077},
year = {2024}
}