PASS：面向行人重识别的部件感知自监督预训练
计算机视觉与模式识别
2022-07-21 v3
摘要
在行人重识别（ReID）中，非常近期的研究已证实在无人标注的行人图像上预训练模型远优于在 ImageNet 上预训练。然而，这些研究直接将为图像分类设计的现有自监督学习（SSL）方法套用于 ReID，而未对框架做任何适配。这些 SSL 方法同时将局部视图（如红色 T 恤、蓝色短裤）的输出与全局视图的输出进行匹配，丢失了大量细节。本文提出一种 ReID 专用的预训练方法——部件感知自监督预训练（PASS），其可生成部件级特征以提供细粒度信息，更适用于 ReID。PASS 将图像划分为若干局部区域，并从每个区域随机裁剪的局部视图被赋予特定的可学习 [PART] 令牌；同时，所有局部区域的 [PART] 也被附加到全局视图上。PASS 学习在同一 [PART] 上匹配局部视图与全局视图的输出，即来自某局部区域的局部视图所学得的 [PART] 仅与全局视图中对应的 [PART] 相匹配。由此，每个 [PART] 可聚焦于图像的特定局部区域并提取该区域的细粒度信息。实验表明，PASS 在 Market1501 和 MSMT17 的多种 ReID 任务上均取得了新的 SOTA 性能，例如经 PASS 预训练的原生 ViT-S/16 在 Market1501 的有监督/UDA/USL ReID 上分别达到 92.2%/90.2%/88.5% 的 mAP 精度。代码见 https://github.com/CASIA-IVA-Lab/PASS-reID。
引用
@article{arxiv.2203.03931,
title = {PASS: Part-Aware Self-Supervised Pre-Training for Person Re-Identification},
author = {Kuan Zhu and Haiyun Guo and Tianyi Yan and Yousong Zhu and Jinqiao Wang and Ming Tang},
journal= {arXiv preprint arXiv:2203.03931},
year = {2022}
}
备注
Accepted by ECCV2022. Codes are available at https://github.com/CASIA-IVA-Lab/PASS-reID