用于可见光-红外行人重识别的基元-细节特征学习框架

可见光-红外行人重识别（VIReID）为全天候场景下的重识别任务提供了一种解决方案；然而，由于可见光（VIS）和红外（IR）模态之间存在巨大差异，在取得令人满意的性能方面仍面临重大挑战。现有方法未能充分利用不同模态的信息，主要侧重于从模态共享信息中挖掘区分性特征，而忽略了模态特有的细节。为了充分利用差异化的细粒度信息，我们提出了一种基元-细节特征学习框架（BDLF），该框架增强了对基元和细节知识的学习，从而同时利用模态共享和模态特有信息。具体而言，所提出的BDLF分别通过一个无损细节特征提取模块和一个互补基元嵌入生成机制来挖掘细节和基元特征，并由一种新颖的相关性约束方法支持，确保BDLF获得的特征能丰富可见光和红外特征中的细节和基元知识。在SYSU-MM01、RegDB和LLCM数据集上进行的综合实验验证了BDLF的有效性。