用于可见光-红外行人重识别的特权中间信息自适应生成
计算机视觉与模式识别
2025-02-11 v2
摘要
可见光-红外行人重识别旨在从RGB和IR传感器的分布式网络中检索同一人个体的图像。若干V-I ReID方法直接整合V和I两种模态以在共享表示空间内区分行人。然而，鉴于V与I模态间数据分布的显著差距，跨模态V-I ReID仍具挑战性。一些近期方法通过利用可桥接V和I模态的中间空间来提升泛化性，但需有效方法为此类信息丰富的域选择或生成数据。本文引入特权中间信息自适应生成（AGPI^2）训练方法，以自适应并生成一个桥接V与I模态间判别信息的虚拟域。AGPI^2的核心动机是通过生成提供额外信息的特权图像来增强深度V-I ReID骨干的训练。这些特权图像捕获了在原始V或I模态单独下不易获取的共享判别特征。为此，一个非线性生成模块以对抗目标进行训练，将V图像翻译至相对于I域域偏移更小的中间空间。同时，AGPI^2内的嵌入模块旨在为V与生成图像产生相似特征，鼓励提取所有模态共有的特征。除这些贡献外，AGPI^2采用对抗目标来适配中间图像，其在创建非模态特定空间以应对V与I域间巨大偏移中起关键作用。在具挑战性的V-I ReID数据集上的实验结果表明，AGPI^2在推理时无需额外计算资源即可提升匹配精度。
引用
@article{arxiv.2307.03240,
title = {Adaptive Generation of Privileged Intermediate Information for Visible-Infrared Person Re-Identification},
author = {Mahdi Alehdaghi and Arthur Josi and Pourya Shamsolmoali and Rafael M. O. Cruz and Eric Granger},
journal= {arXiv preprint arXiv:2307.03240},
year = {2025}
}