基于丰富中文描述的原型引导文本行人搜索
计算机视觉与模式识别
2023-12-25 v1
摘要
基于文本的行人搜索旨在根据查询文本从未裁剪的场景图像中同时定位和识别目标行人，可视为行人检测和基于文本的行人重识别任务的统一任务。在这项工作中，我们基于广泛使用的行人搜索数据集PRW提出了一个大规模基准数据集PRW-TPS-CN。我们的数据集包含47,102个句子，这意味着信息量远超现有数据集。这些文本从上到下精确描述了行人图像，符合自然描述顺序。我们还提供了数据集中英文描述，以便进行更全面的评估。这些特性使我们的数据集更具适用性。为了缓解行人检测和基于文本的行人重识别之间的不一致性，我们利用了PRW-TPS-CN数据集中丰富的文本。我们提出将多个文本聚合为文本原型，以保持一个人的突出文本特征，从而更好地反映一个人的整体特征。整体原型生成图像注意力图，以消除导致基于文本的行人重识别性能下降的检测错位。因此，行人检测和基于文本的行人重识别之间的不一致性得到了很大缓解。我们在PRW-TPS-CN数据集上进行了大量实验。实验结果表明了PRW-TPS-CN数据集的有效性以及我们方法的最先进性能。
引用
@article{arxiv.2312.14834,
title = {Prototype-Guided Text-based Person Search based on Rich Chinese Descriptions},
author = {Ziqiang Wu and Bingpeng Ma},
journal= {arXiv preprint arXiv:2312.14834},
year = {2023}
}
备注
11 pages, 5 figures