通过视角对齐与融合实现可泛化行人重识别
计算机视觉与模式识别
2022-12-06 v1
摘要
在当前行人重识别(ReID)方法中,多数域泛化工作聚焦于处理域间风格差异,却在很大程度上忽略了不可预测的相机视角变化,我们将其认定为导致 ReID 方法泛化性能差的另一个主要因素。为应对视角变化,本工作提出使用 3D 密集姿态估计模型与纹理映射模块将行人图像映射至规范视角图像。由于纹理映射模块的不完美,规范视角图像可能丢失原始图像中具有判别性的细节线索,因此直接将其用于 ReID 不可避免地导致较差性能。为解决此问题,我们提出通过基于 transformer 的模块融合原始图像与规范视角图像。该设计的核心见解在于,transformer 中的交叉注意力机制可作为将原始图像中具有判别性的纹理线索与规范视角图像对齐的理想方案,从而补偿规范视角图像低质量的纹理信息。通过大量实验,我们表明所提方法在各种评估设定下均优于现有方法。
引用
@article{arxiv.2212.02398,
title = {Generalizable Person Re-Identification via Viewpoint Alignment and Fusion},
author = {Bingliang Jiao and Lingqiao Liu and Liying Gao and Guosheng Lin and Ruiqi Wu and Shizhou Zhang and Peng Wang and Yanning Zhang},
journal= {arXiv preprint arXiv:2212.02398},
year = {2022}
}