TransReID：基于 Transformer 的目标重识别

提取鲁棒的特征表示是目标重识别（ReID）中的关键挑战之一。尽管基于卷积神经网络（CNN）的方法已取得巨大成功，但它们一次仅处理一个局部邻域，并遭受卷积和下采样算子（例如池化和步幅卷积）导致的细节信息丢失。为克服这些局限，我们提出了一种名为 TransReID 的纯基于 transformer 的目标 ReID 框架。具体而言，我们首先将图像编码为图像块序列，并构建带有若干关键改进的基于 transformer 的强基线，其在多个 ReID 基准上取得了与基于 CNN 的方法相竞争的结果。为进一步增强 transformer 上下文中的鲁棒特征学习，我们精心设计了两个新颖模块。（i）提出拼图块模块（JPM），通过移位和块洗牌操作重排块嵌入，生成具有更强判别能力和更多样化覆盖的鲁棒特征。（ii）引入侧信息嵌入（SIE），通过将可学习嵌入插入以融合这些非视觉线索，从而减轻针对相机/视角变化的特性偏差。据我们所知，这是首项采用纯 transformer 进行 ReID 研究的工作。TransReID 的实验结果极为可观，在行人及车辆 ReID 基准上均取得了最先进的性能。