用于基于视频的可见光-红外行人重识别的骨架引导时空特征学习
计算机视觉与模式识别
2024-12-12 v2
摘要
由于显著的模态特征差异，基于视频的可见光-红外行人重识别（VVI-ReID）具有挑战性。视频中的时空信息至关重要，但时空信息的准确性常受视频低质量和遮挡等问题的影响。现有方法主要关注减少模态差异，但对改善时空特征（尤其是红外视频的时空特征）关注有限。为了解决这一问题，我们提出了一种用于 VVI-ReID 的新型骨架引导时空特征学习（STAR）方法。通过使用对图像质量差和遮挡等问题具有鲁棒性的骨架信息，STAR 提高了两种模态视频中时空特征的准确性。具体而言，STAR 采用了两个层级的骨架引导策略：帧级和序列级。在帧级，使用鲁棒的结构化骨架信息来细化单帧的视觉特征。在序列级，我们设计了一种基于骨架关键点图的特征聚合机制，该机制学习不同身体部位对时空特征的贡献，进一步提高了全局特征的准确性。在基准数据集上的实验表明，STAR 优于 SOTA 方法。代码即将开源。
引用
@article{arxiv.2411.11069,
title = {Skeleton-Guided Spatial-Temporal Feature Learning for Video-Based Visible-Infrared Person Re-Identification},
author = {Wenjia Jiang and Xiaoke Zhu and Jiakang Gao and Di Liao},
journal= {arXiv preprint arXiv:2411.11069},
year = {2024}
}