用于可见光-红外行人重识别的参数分层优化

可见光-红外行人重识别旨在匹配由不重叠的可见光或红外摄像机捕获的跨模态行人图像。现有方法通过设计不同类型的网络架构来缓解跨模态差异。与现有方法不同，在本文中，我们针对 VI-ReID 任务提出了一种新颖的参数优化范式，即参数分层优化方法。它允许部分参数在无需任何训练的情况下被直接优化，这缩小了参数的搜索空间，并使整个网络更容易被训练。具体而言，我们首先将参数划分为不同类型，然后引入一种自适应对齐策略，通过变换自动对齐可见光和红外图像。考虑到不同维度的特征具有不同的重要性，我们开发了一个自动加权对齐学习模块，该模块可以根据特征的重要性自动对其进行加权。重要的是，在 SAS 和 AAL 的对齐过程中，所有参数均依据优化原理被立即优化，而非训练整个网络，这产生了一种更好的参数训练方式。此外，我们建立了跨模态一致性学习损失，以提取具有平移一致性的判别性行人表示。我们提供了理论依据和实验证据，证明我们提出的 PHO 方法优于现有的 VI-reID 方法。