也许你在找CroQS：面向文本到图像检索的跨模态查询建议

查询建议是一种在信息检索中广泛采用的技术，它增强了系统的交互性和文档集合的浏览体验。在跨模态检索中，许多工作专注于从自然语言查询中检索相关项目，而很少有工作探索查询建议解决方案。在本工作中，我们解决了跨模态检索中的查询建议问题，引入了一个新颖的任务，该任务专注于建议所需的最小文本修改，以探索集合中视觉上一致的子集，遵循“也许你在找”的前提。为了促进方法的评估和开发，我们提出了一个名为CroQS的定制基准。该数据集包含初始查询、分组结果集以及每个组的人工定义建议查询。我们建立了专门的指标来严格评估各种方法在此任务上的性能，衡量建议查询的代表性、聚类特异性和与原始查询的相似性。来自相关领域（如图像描述和内容摘要）的基线方法被改编用于此任务，以提供参考性能分数。尽管与人类表现仍有较大差距，但我们的实验表明，基于LLM和基于描述的方法在CroQS上都取得了有竞争力的结果，与初始查询相比，聚类特异性的召回率提高了115%以上，代表性mAP提高了52%以上。数据集、基线方法的实现以及包含我们实验的笔记本可在此处获取：https://paciosoft.com/CroQS-benchmark/