通过对齐学习：利用跨模态对应关系的可见光-红外行人重识别
计算机视觉与模式识别
2021-08-18 v1
摘要
我们解决了可见光-红外行人重识别（VI-reID）问题，即在跨模态设置下检索由可见光或红外相机拍摄的一组行人图像。VI-reID 的两个主要挑战是行人图像之间的类内差异，以及可见光与红外图像之间的跨模态差异。假设行人图像大致对齐，先前的方法试图学习在不同模态间具有判别性和可泛化性的粗粒度图像级或刚性部件级行人表示。然而，通常由现成目标检测器裁剪的行人图像未必良好对齐，这会干扰判别性行人表示的学习。本文中，我们引入了一种新颖的特征学习框架，以统一方式解决这些问题。为此，我们提出利用跨模态行人图像之间的密集对应关系。这允许在像素级处理跨模态差异，更有效地从行人表示中抑制与模态相关的特征。这也鼓励跨模态局部特征之间的像素级关联，进一步促进 VI-reID 的判别性特征学习。在标准 VI-reID 基准上的大量实验与分析证明了我们方法的有效性，其显著优于当前最优（SOTA）方法。
引用
@article{arxiv.2108.07422,
title = {Learning by Aligning: Visible-Infrared Person Re-identification using Cross-Modal Correspondences},
author = {Hyunjong Park and Sanghoon Lee and Junghyup Lee and Bumsub Ham},
journal= {arXiv preprint arXiv:2108.07422},
year = {2021}
}
备注
iccv 2021