面向可见光-红外行人重识别的隐式判别知识学习

由于不同相机之间存在显著的类内变化和跨模态差异，可见光-红外行人重识别是一项具有挑战性的跨模态行人检索任务。现有工作主要侧重于将不同模态的图像嵌入到统一空间中，以挖掘模态共享特征。它们仅在这些共享特征中寻找独特信息，而忽略了隐含在模态特定特征中的身份感知有用信息。为了解决这个问题，我们提出了一种新颖的隐式判别知识学习（IDKL）网络，以揭示和利用模态特定特征中包含的隐式判别信息。首先，我们使用一种新颖的双流网络提取模态特定特征和模态共享特征。然后，对模态特定特征进行净化，以减少其模态风格差异，同时保留身份感知判别知识。随后，将这种隐式知识蒸馏到模态共享特征中，以增强其独特性。最后，提出了一种对齐损失，以最小化增强后的模态共享特征上的模态差异。在多个公开数据集上的大量实验证明了 IDKL 网络优于 state-of-the-art 方法。代码可在 https://github.com/1KK077/IDKL 获取。