动态身份引导注意力网络用于可见光-红外行人重识别

可见光-红外行人重识别（VI-ReID）旨在匹配可见光和红外模态下具有相同身份的行人。由于不同模态下个体外观的巨大差异，VI-ReID是一项具有挑战性的任务。现有方法通常尝试在图像或特征层面弥合跨模态差异，但缺乏对判别性嵌入的探索。有效最小化这些跨模态差异依赖于获得由身份引导且跨模态一致的表示，同时过滤掉与身份无关的表示。为了应对这些挑战，我们引入了一个动态身份引导注意力网络（DIAN）来挖掘身份引导且模态一致的嵌入，从而有效弥合不同模态之间的差距。具体来说，在DIAN中，为了追求语义更丰富的表示，我们首先使用正交投影融合来自两个相连的粗层和细层的特征。此外，我们首次使用动态卷积核来挖掘身份引导且模态一致的表示。更值得注意的是，我们引入了一种跨嵌入平衡损失，通过上述嵌入有效弥合跨模态差异。在SYSU-MM01和RegDB数据集上的实验结果表明，DIAN达到了最先进的性能。具体来说，在SYSU-MM01的室内搜索中，我们的方法分别达到了86.28%的rank-1准确率和87.41%的mAP。我们的代码将很快发布。