基于有限数据的文本行人检索
计算机视觉与模式识别
2021-10-22 v1
摘要
基于文本的行人检索（TBPS）旨在利用描述性文本查询从图像库中检索目标行人。解决这样一个细粒度的跨模态检索任务是具有挑战性的，而大规模数据集的缺乏进一步加剧了这一困难。本文提出了一个包含两种新颖组件的框架，以处理有限数据带来的问题。首先，为了充分利用现有的小规模基准数据集进行更具判别性的特征学习，我们引入了跨模态动量对比学习框架，为给定的小批量丰富训练数据。其次，我们提出将从现有粗粒度大规模数据集中学到的知识（这些数据集包含来自截然不同问题域的图像-文本对）进行迁移，以弥补TBPS训练数据的不足。我们设计了一种迁移学习方法，使得尽管存在较大的域差距，仍可以迁移有用信息。借助这些组件，我们的方法在CUHK-PEDES数据集上取得了新的最先进水平，在Rank-1和mAP方面相比先前方法有显著提升。我们的代码可在 https://github.com/BrandonHanx/TextReID 获取。
引用
@article{arxiv.2110.10807,
title = {Text-Based Person Search with Limited Data},
author = {Xiao Han and Sen He and Li Zhang and Tao Xiang},
journal= {arXiv preprint arXiv:2110.10807},
year = {2021}
}
备注
20 pages, 7 figures, 6 tables, to appear in BMVC2021