基于双向多步骤域泛化的可见-红外行人重识别
计算机视觉与模式识别
2025-02-11 v2
摘要
可见-红外行人重识别（V-I ReID）中的一个关键挑战是训练能够有效解决不同模态之间显著差异的 backbone 模型。采用生成单个中间桥接域的方法的现有方法往往效果较差，因为该生成域可能不足以捕获足够的共同判别信息。本文引入了双向多步骤域泛化（BMDG），这是一种用于统一不同模态特征表示的新方法。BMDG 通过学习和对齐来自 I 和 V 模态中提取的身体部位特征，创建多个虚拟中间域。具体而言，本方法旨在两步最小化跨模态差距。首先，BMDG 通过从 V 和 I 图像中学习共享且模态不变的身体部位原型来对齐模态。然后，通过应用双向多步骤学习来推广特征表示，该过程在每个步骤中逐步细化特征表示，并纳入来自两种模态的更多原型。基于这些原型，多个桥接步骤增强了特征表示。在可见-红外 ReID 数据集上的实验表明，我们的 BMDG 方法可以超过现有的基于部件的方法和中间生成方法，并且可以集成到其他基于部件的方法中，以提高其 V-I ReID 性能。（我们的代码可在 https:/alehdaghi.github.io/BMDG/ 查看）
关键词
引用
@article{arxiv.2403.10782,
title = {Bidirectional Multi-Step Domain Generalization for Visible-Infrared Person Re-Identification},
author = {Mahdi Alehdaghi and Pourya Shamsolmoali and Rafael M. O. Cruz and Eric Granger},
journal= {arXiv preprint arXiv:2403.10782},
year = {2025}
}