使用身体嵌入的多域生物特征识别
计算机视觉与模式识别
2025-03-17 v1
摘要
随着我们从可见光谱转向红外图像，生物特征识别变得越来越具挑战性，其中域差异显著影响识别性能。在本文中，我们展示了对于中波红外（MWIR）和长波红外（LWIR）域中的跨光谱人员识别，身体嵌入比面部嵌入表现更好。由于缺乏多域数据集，先前关于跨光谱身体识别（也称为可见光-红外人员重识别，VI-ReID）的研究主要集中在单独的红外波段，例如近红外（NIR）或 LWIR。我们使用 IARPA Janus Benchmark Multi-Domain Face (IJB-MDF) 数据集来解决多域身体识别问题，该数据集能够实现短波红外（SWIR）、MWIR 和 LWIR 图像与 RGB (VIS) 图像的匹配。我们利用视觉 Transformer 架构在 IJB-MDF 数据集上建立了基准结果，并通过大量实验，为红外域之间的相互关系、VIS 预训练模型的适应性、局部语义特征在身体嵌入中的作用以及小数据集的有效训练策略提供了有价值的见解。此外，我们展示了仅在 VIS 数据上预训练的身体模型，通过交叉熵损失与三元组损失的简单组合进行微调，在 LLCM 数据集上取得了 SOTA 的 mAP 分数。
引用
@article{arxiv.2503.10931,
title = {Multi-Domain Biometric Recognition using Body Embeddings},
author = {Anirudh Nanduri and Siyuan Huang and Rama Chellappa},
journal= {arXiv preprint arXiv:2503.10931},
year = {2025}
}