ProtoHPE：面向可见光–红外行人重识别的原型引导高频块增强

可见光–红外行人重识别由于巨大的模态差异而具有挑战性。为弥合差异，多数研究严重依赖可见光–红外整体行人图像的相关性，在严重分布偏移下可能表现不佳。相反，我们发现一些跨模态相关的频成分包含判别性视觉模式，并且比整体图像更少受波长、姿态和背景杂波等变化的影响。因此，我们受此启发基于此类高频成分弥合模态差异，并提出\textbf{Proto}type-guided \textbf{H}igh-frequency \textbf{P}atch \textbf{E}nhancement（ProtoHPE，原型引导高频块增强），具有两个核心设计。\textbf{第一}，为增强跨模态相关高频成分的表示能力，我们通过小波变换和指数移动平均Vision Transformer（ViT）分割具有此类成分的块，然后赋予ViT以分割块作为辅助输入。\textbf{第二}，为获得同一身份语义紧凑且判别性的高频表示，我们提出多模态原型对比。具体而言，它分层捕获不同模态实例的综合语义，促进属于同一身份的高频表示聚合。借助它，ViT在推理时可捕获关键高频成分而无需依赖ProtoHPE，从而不带来额外复杂度。大量实验验证了ProtoHPE的有效性。