面向可泛化行人重识别的部件感知Transformer
计算机视觉与模式识别
2023-09-19 v2 人工智能
摘要
域泛化行人重识别（DG-ReID）旨在源域上训练模型并在未见域上良好泛化。视觉 Transformer 通常在分布偏移下比常见 CNN 网络具有更好的泛化能力。然而，基于 Transformer 的 ReID 模型由于源域上的监督学习策略，不可避免地过拟合于域特定偏置。我们观察到，虽然不同 ID 的全局图像应具有不同特征，但它们相似的局部部件（如黑色背包）不受此约束限制。受此启发，我们通过设计名为跨 ID 相似性学习（CSL）的代理任务，提出一种用于 DG-ReID 的纯 Transformer 模型（称为部件感知 Transformer），以挖掘不同 ID 共享的局部视觉信息。该代理任务使模型能够学习通用特征，因为它只关注部件的视觉相似性而不管 ID 标签，从而缓解域特定偏置的副作用。基于 CSL 中获得的局部相似性，提出部件引导自蒸馏（PSD）以进一步提升全局特征的泛化能力。我们的方法在大多数 DG ReID 设定下达到最先进（SOTA）性能。在 MarketDuke 设定下，我们的方法在 Rank1 和 mAP 上分别超越最先进水平 10.9% 和 12.8%。代码见 https://github.com/liyuke65535/Part-Aware-Transformer。
引用
@article{arxiv.2308.03322,
title = {Part-Aware Transformer for Generalizable Person Re-identification},
author = {Hao Ni and Yuke Li and Lianli Gao and Heng Tao Shen and Jingkuan Song},
journal= {arXiv preprint arXiv:2308.03322},
year = {2023}
}