面向可见光-红外行人重识别的以形状为中心的表示学习
计算机视觉与模式识别
2025-04-29 v3
摘要
可见光-红外行人重识别（VI-ReID）在全天时监控系统中起着关键作用。然而，现有方法主要关注外观特征的学习，而忽视了身体形状特征；形状特征不仅能补充外观特征，还对模态变化具有固有的鲁棒性。尽管潜力巨大，有效整合形状与外观特征仍具挑战。外观特征极易受模态变化和背景噪声影响，而形状特征常因辅助模型的局限导致红外形状估计不准确。为应对这些挑战，我们提出了以形状为中心的表示学习（ScRL）框架，通过创新性地整合形状与外观特征来提升 VI-ReID 性能。具体而言，我们引入红外形状恢复（ISR），利用红外外观特征在特征层面纠正红外身体形状表示的误差。此外，我们提出形状特征传播（SFP），能以极低计算复杂度在推理时直接从原始图像提取形状特征。进一步地，我们设计了外观特征增强（AFE），利用形状特征强调与形状相关的外观特征，同时有效抑制与身份无关的噪声。得益于形状与外观特征的有效整合，ScRL 在大量实验中展现出优越性能。在 SYSU-MM01、HITSZ-VCM 和 RegDB 数据集上，其 Rank-1（mAP）准确率分别达到 76.1%（72.6%）、71.2%（52.9%）和 92.4%（86.7%），超越了现有最先进方法。
引用
@article{arxiv.2310.17952,
title = {Shape-centered Representation Learning for Visible-Infrared Person Re-identification},
author = {Shuang Li and Jiaxu Leng and Ji Gan and Mengjingcheng Mo and Xinbo Gao},
journal= {arXiv preprint arXiv:2310.17952},
year = {2025}
}
备注
Accepted for Pattern Recognition. Code: https://github.com/Visuang/ScRL