面向人身搜索的置换路径网络预训练
计算机视觉与模式识别
2024-12-10 v1
摘要
在人身搜索任务中，我们需在一组画廊场景中检测并排序与查询人物图像的匹配对象。大多数人身搜索模型采用特征提取主干网络，随后分别用于检测和重识别。虽然视觉主干网络的预训练方法已成熟，但针对人身搜索任务的预训练附加模块尚未被探讨。本文提出首个实现人身搜索端到端预训练的框架。该框架将人身搜索分为对象导向和查询导向方法，我们表明查询导向方法对标签噪声鲁棒，可仅使用弱标注的人身边界框进行训练。进一步，我们提供了一种新型模型 Swap Path Net（SPNet），实现查询导向和对象导向训练目标的双重支持，可在两种方法之间进行权重交换。使用 SPNet，我们表明查询导向预训练后再进行对象导向微调，可在标准 PRW 和 CUHK-SYSU 人身搜索基准上实现最先进的性能，CUHK-SYSU 上达到 96.4% mAP，PRW 上达到 61.2% mAP。此外，我们展示了该方法在人身搜索预训练方面比最新的仅主干网络预训练方法更有效、更高效、更稳健。
引用
@article{arxiv.2412.05433,
title = {Swap Path Network for Robust Person Search Pre-training},
author = {Lucas Jaffe and Avideh Zakhor},
journal= {arXiv preprint arXiv:2412.05433},
year = {2024}
}
备注
WACV 2025; Code: https://github.com/LLNL/spnet