G2DA：面向 RGB-红外行人重识别的几何引导双重对齐学习

RGB-红外（IR）行人重识别旨在从异构相机中检索感兴趣行人，易遭受由不同传感波长范围引起的巨大图像模态差异。现有工作通常通过对齐全局特征的域分布来最小化此类差异，却忽略了语义部件间模态内的结构关系。这可能导致网络过度关注局部线索，而不考虑长距离身体部位依赖，从而产生无意义的区域表示。本文提出一种图赋能的分布匹配方案，称为几何引导双重对齐（G2DA）学习，用于 RGB-IR 重识别。它可通过在多尺度骨架图中（嵌入人体拓扑信息）求解图匹配任务，联合促进部件语义与结构关系间的跨模态一致性，实现细粒度模态对齐。具体而言，我们提出构建语义对齐完全图，所有跨模态图像均可通过姿态自适应图构造机制映射至其中。该图以节点表示提取的整-部件特征，并以关联边表达节点间相似性。为实现基于图的双重对齐学习，进一步引入基于最优传输（OT）的结构化度量，以同时度量跨模态的点对关系与组间结构相似性。通过最小化模态间传输方案代价，G2DA 可学习一致且具判别性的特征子空间用于跨模态图像检索。此外，我们提出消息融合注意力（MFA）机制，自适应重加权语义传播的信息流，有效增强所提取语义特征的判别性。