FitPro：面向开放世界交互式文本行人检索的零样本框架

基于文本的行人检索（TPR）旨在根据自然语言描述在视觉场景中检索特定的目标行人。尽管现有方法在受限设置下已取得进展，但开放世界场景中的交互式检索仍受限于模型泛化能力不足和语义理解不够。为解决这些挑战，我们提出 FitPro，一个具有增强语义理解和跨场景适应能力的开放世界交互式零样本 TPR 框架。FitPro 包含三个创新组件：特征对比解码（FCD）、增量语义挖掘（ISM）和查询感知分层检索（QHR）。FCD 集成提示引导的对比解码，从去噪图像中生成高质量的结构化行人描述，有效缓解零样本场景中的语义漂移。ISM 从多视角观测中构建整体行人表征，以在多轮交互中实现全局语义建模，从而提高对视角变化和描述中细粒度变化的鲁棒性。QHR 根据查询类型动态优化检索流程，实现对多模态和多视角输入的高效适应。在五个公开数据集和两种评估协议上的大量实验表明，FitPro 显著克服了现有方法在交互式检索中的泛化局限性和语义建模约束，为实际部署铺平了道路。