用于可见光-热成像行人重识别的跨模态推土机距离
计算机视觉与模式识别
2022-03-04 v1
摘要
可见光-热成像行人重识别（VT-ReID）受模态间差异和类内身份变化的影响。分布对齐是 VT-ReID 的常用解法，但通常受类内身份变化的影响而受限。本文提出跨模态推土机距离（CM-EMD），可在模态对齐过程中减轻类内身份变化的影响。CM-EMD 选择最优传输策略，并对类内身份变化较小的样本对赋予高权重。如此，模型将聚焦于减小模态间差异，同时较少关注类内身份变化，从而实现更有效的模态对齐。此外，我们引入两种技术以增强 CM-EMD 的优势。首先，设计跨模态判别学习（CM-DL）以克服模态对齐引起的判别性退化问题。通过降低类内与类间方差之比，CM-DL 引导模型学习更具判别性的表征。其次，我们构建多粒度结构（MGS），使我们能利用所提 CM-EMD 从粗粒度和细粒度两个层面对齐模态。大量实验显示了所提 CM-EMD 及其辅助技术（CM-DL 和 MGS）的益处。我们的方法在两个 VT-ReID 基准上取得了 SOTA 性能。
引用
@article{arxiv.2203.01675,
title = {Cross-Modality Earth Mover's Distance for Visible Thermal Person Re-Identification},
author = {Yongguo Ling and Zhun Zhong and Donglin Cao and Zhiming Luo and Yaojin Lin and Shaozi Li and Nicu Sebe},
journal= {arXiv preprint arXiv:2203.01675},
year = {2022}
}
备注
10 pages, 5 figures