对话臻于至善：基于聊天的图像检索
计算机视觉与模式识别
2023-10-06 v2
摘要
聊天作为一种有效的用户友好型信息检索方法崭露头角，并成功应用于客户服务、医疗和金融等诸多领域。然而，现有图像检索方法通常只处理单次查询到图像的轮次，基于聊天的图像检索在很大程度上被忽视。本工作中，我们提出 ChatIR：一个基于聊天的图像检索系统，除初始查询外，还与用户对话以引出信息，从而澄清用户的搜索意图。受当今基础模型能力的启发，我们利用大语言模型（LLM）对初始图像描述生成后续问题。这些问题与用户形成对话，以便从大规模语料库中检索所需图像。本研究探讨了该系统在大型数据集上的能力，揭示参与对话可显著改善图像检索。我们首先基于现有手动生成的数据集构建评估流程，并探索 ChatIR 的不同模块与训练策略。我们的对比包含源自相关应用、经强化学习训练的强基线。我们的系统能够在 5 轮对话后从 5 万张图像池中检索目标图像，成功率超过 78%，而人类提问时为 75%，单次文本到图像检索为 64%。大量评估揭示了 CharIR 在不同设置下的强大能力与局限。项目仓库见 https://github.com/levymsn/ChatIR。
引用
@article{arxiv.2305.20062,
title = {Chatting Makes Perfect: Chat-based Image Retrieval},
author = {Matan Levy and Rami Ben-Ari and Nir Darshan and Dani Lischinski},
journal= {arXiv preprint arXiv:2305.20062},
year = {2023}
}
备注
Camera Ready version for NeurIPS 2023