无平行图文数据的文本基行人检索

文本基行人检索（TBPS）旨在基于给定的自然语言描述从大型图像库中检索目标人物的图像。现有方法主导性地采用平行图文对训练模型，而此类数据收集成本极高。本文首次尝试探索无平行图文数据的 TBPS（$\mu$-TBPS），其中仅可采用非平行的图像与文本，甚至仅图像数据。为此，我们提出两阶段框架“先生成后检索”（GTR），首先为每张图像生成对应的伪文本，再以有监督方式执行检索。在生成阶段，我们提出细粒度图像描述策略以获得人物图像的丰富描述，其首先利用一组指令提示激活现成的预训练视觉-语言模型以捕捉并生成细粒度人物属性，随后通过微调的大语言模型或手工模板将提取的属性转换为文本描述。在检索阶段，考虑到生成文本对模型训练的噪声干扰，我们开发了基于置信度分数的训练方案，使更可靠的文本在训练中贡献更多。在多个 TBPS 基准（即 CUHK-PEDES、ICFG-PEDES 与 RSTPReid）上的实验结果表明，所提 GTR 在不依赖平行图文数据的情况下可取得令人满意的性能。