FreestyleRet：从风格多样化查询中检索图像

图像检索旨在根据给定查询检索相应的图像。在应用场景中，用户意图通过各种查询风格表达其检索意图。然而，当前的检索任务主要集中于文本查询检索的探索，导致检索查询选项有限，且用户意图可能存在歧义或偏差。在本文中，我们提出了风格多样化基于查询的图像检索任务，该任务支持基于各种查询风格进行检索。为了支持这一新设定，我们提出了首个多样化风格检索数据集，包含文本、草图、低分辨率和艺术等多种查询风格。我们还提出了一个轻量级的风格多样化检索框架。对于各种查询风格输入，我们应用 Gram 矩阵提取查询的纹理特征，并将其聚类到具有特定风格基的风格空间中。然后，我们采用风格初始化提示微调模块，使视觉编码器能够理解查询的纹理和风格信息。实验表明，采用风格初始化提示微调策略的模型在风格多样化检索任务上优于现有检索模型。此外，风格多样化查询（草图+文本、艺术+文本等）可以在我们的模型中同时被检索。来自其他查询的辅助信息增强了各自查询内的检索性能。