探索模态共享外观特征与模态不变关系特征用于跨模态行人重识别

现有大多数跨模态行人重识别工作依赖于判别性的模态共享特征来减小跨模态差异与模态内差异。尽管取得了一些初步成功，由于 RGB 与红外图像之间的巨大差异，此类模态共享外观特征无法捕获足够的模态不变判别信息。为解决该问题，在外观特征之上，我们进一步捕获不同人体部位之间的模态不变关系（称为模态不变关系特征），其作为那些模态共享外观特征的补充，并有助于识别外观相似但体型不同的行人。为此，设计了一个多级双流模态共享特征提取（MTMFE）子网络，其中模态共享外观特征与模态不变关系特征分别先在共享 2D 特征空间与共享 3D 特征空间中提取。随后将两种特征融合为最终的模态共享特征，从而同时减小跨模态差异与模态内差异。此外，提出一种新颖的跨模态四元组损失以进一步减小跨模态差异。在多个基准数据集上的实验结果表明，我们所提方法以显著优势超越最先进算法。