用于可见光-红外行人重识别的反事实干预特征迁移
计算机视觉与模式识别
2022-11-15 v3
摘要
基于图的模型近年来在行人重识别任务中取得了巨大成功，其先计算不同人之间的图拓扑结构（亲和度），再在其中传递信息以获得更强的特征。但我们发现，现有的可见光-红外行人重识别（VI-ReID）任务中基于图的方法由于两个问题而泛化性差：1）训练-测试模态平衡差距，这是VI-ReID任务的固有特性。训练阶段两种模态数据数量平衡，但推理时极不平衡，导致基于图的VI-ReID方法泛化率低。2）端到端学习方式作用于图模块所引起的次优拓扑结构。我们分析认为，训练良好的输入特征削弱了图拓扑的学习，使其在推理过程中不够泛化。本文提出一种反事实干预特征迁移（CIFT）方法来解决这些问题。具体而言，设计同质与异质特征迁移（H2FT），通过两类独立设计的图模块和不平衡场景模拟来减小训练-测试模态平衡差距。此外，提出反事实关系干预（CRI），利用反事实干预与因果效应工具凸显拓扑结构在整个训练过程中的作用，使图拓扑结构更可靠。在标准VI-ReID基准上的大量实验表明，CIFT在各种设置下均优于现有最优方法。
引用
@article{arxiv.2208.00967,
title = {Counterfactual Intervention Feature Transfer for Visible-Infrared Person Re-identification},
author = {Xulin Li and Yan Lu and Bin Liu and Yating Liu and Guojun Yin and Qi Chu and Jinyang Huang and Feng Zhu and Rui Zhao and Nenghai Yu},
journal= {arXiv preprint arXiv:2208.00967},
year = {2022}
}