PersonMAE：基于掩码自编码器的行人重识别预训练
计算机视觉与模式识别
2023-11-09 v1
摘要
预训练在为行人重识别（ReID）学习通用特征表示中正扮演越来越重要的角色。我们认为高质量的 ReID 表示应具备三种属性，即多层次感知、遮挡鲁棒性与跨区域不变性。为此，我们提出了一种简单而有效的预训练框架，即 PersonMAE，它将两个核心设计引入掩码自编码器以更好地服务于行人重识别任务。1) PersonMAE 从给定图像生成两个区域，以 RegionA 作为输入，以 \textit{RegionB} 作为预测目标。RegionA 被块级掩码破坏以模拟 ReID 中常见的遮挡，其剩余可见部分被送入编码器。2) 随后 PersonMAE 旨在在像素级与语义特征级上预测整个 RegionB。它使其预训练特征表示具备上述三种属性。这些属性使 PersonMAE 与下游行人重识别任务兼容，从而在四个下游 ReID 任务（即有监督（整体与遮挡设定）以及无监督（UDA 与 USL 设定））上取得最先进性能。值得注意的是，在通常采用的有监督设定下，以 ViT-B 为骨干的 PersonMAE 在 MSMT17 与 OccDuke 数据集上分别达到 79.8% 与 69.5% mAP，较前最先进方法分别大幅超出 +8.0 mAP 与 +5.3 mAP。
关键词
引用
@article{arxiv.2311.04496,
title = {PersonMAE: Person Re-Identification Pre-Training with Masked AutoEncoders},
author = {Hezhen Hu and Xiaoyi Dong and Jianmin Bao and Dongdong Chen and Lu Yuan and Dong Chen and Houqiang Li},
journal= {arXiv preprint arXiv:2311.04496},
year = {2023}
}