侧信息嵌入的跨光谱人体识别：LLCM 上的基准测试与 IJB-MDF 上范围诱导遮挡分析
计算机视觉与模式识别
2025-06-11 v1
摘要
视觉Transformer（ViT）在包括人脸和人体识别在内的广泛生物特征任务中展现了令人瞩目的性能。在本工作中，我们将一个在可见光（VIS）图像上预训练的ViT模型适配到跨光谱人体识别这一具有挑战性的问题中，该问题涉及匹配在可见光和红外（IR）域中捕获的图像。近期ViT架构已探索在传统位置嵌入之外引入额外嵌入。基于这一思路，我们整合了侧信息嵌入（SIE），并研究了编码域信息和相机信息对增强跨光谱匹配的影响。令人惊讶的是，我们的结果表明，仅编码相机信息——而不显式地纳入域信息——在LLCM数据集上实现了最先进的性能。虽然遮挡处理在可见光光谱行人重识别（Re-ID）中已被广泛研究，但可见光-红外（VI）Re-ID中的遮挡问题在很大程度上仍未被充分探索——主要是因为现有的VI-ReID数据集（如LLCM、SYSU-MM01和RegDB）主要包含全身体、无遮挡的图像。为了填补这一空白，我们利用IARPA Janus Benchmark Multi-Domain Face（IJB-MDF）数据集分析了范围诱导遮挡的影响，该数据集提供了在不同距离捕获的多样化可见光和红外图像，从而支持跨范围、跨光谱评估。
引用
@article{arxiv.2506.08953,
title = {Cross-Spectral Body Recognition with Side Information Embedding: Benchmarks on LLCM and Analyzing Range-Induced Occlusions on IJB-MDF},
author = {Anirudh Nanduri and Siyuan Huang and Rama Chellappa},
journal= {arXiv preprint arXiv:2506.08953},
year = {2025}
}