MRCN：一种用于可见光-红外行人重识别的新型模态复原与补偿网络
计算机视觉与模式识别
2023-03-28 v1
摘要
可见光-红外行人重识别（VI-ReID）旨在跨不同光谱搜索身份，由于可见光与红外图像之间存在较大的跨模态差异，是一项具有挑战性的任务。减小该差异的关键在于滤除与身份无关的干扰并有效学习模态不变的行人表征。本文提出一种新颖的模态复原与补偿网络（MRCN）以缩小两种模态之间的差距。具体而言，我们首先使用两个实例归一化（IN）层来减小模态差异。接下来，为降低IN层对判别性信息剔除的影响并减小模态差异，我们提出模态复原模块（MRM）与模态补偿模块（MCM），分别从被剔除的信息中提炼模态无关与模态相关的特征。随后，模态无关特征被用于复原到归一化后的可见光与红外特征，而模态相关特征则用于补偿另一模态的特征。此外，为更好地解耦模态相关特征与模态无关特征，我们提出一种新颖的中心四元组因果（CQC）损失，以促使网络有效学习模态相关与模态无关特征。我们在具有挑战性的SYSU-MM01与RegDB数据集上进行了大量实验以验证本方法的优越性。尤为显著的是，本方法在RegDB数据集上取得了Rank-1为95.1%、mAP为89.2%的成绩。
引用
@article{arxiv.2303.14626,
title = {MRCN: A Novel Modality Restitution and Compensation Network for Visible-Infrared Person Re-identification},
author = {Yukang Zhang and Yan Yan and Jie Li and Hanzi Wang},
journal= {arXiv preprint arXiv:2303.14626},
year = {2023}
}
备注
Accepted by AAAI-2023