将姿态估计作为辅助学习任务用于可见光-红外行人重识别的探索
计算机视觉与模式识别
2022-02-24 v2
摘要
可见光-红外行人重识别（VI-ReID）因可见光与红外模态间存在巨大差异而颇具挑战。多数开创性方法通过学 modality-shared 且与ID相关的特征来减小类内差异与模态间差异。然而，一个显式的模态共享线索，即身体关键点，尚未在VI-ReID中得到充分利用。此外，现有的特征学习范式对全局特征或分块特征条施加约束，忽视了全局与局部特征预测的一致性。为解决上述问题，我们利用姿态估计作为辅助学习任务，在以端到端框架中协助VI-ReID任务。通过以互利方式联合训练这两个任务，我们的模型学到了更高质量的模态共享与ID相关特征。在此基础上，全局特征与局部特征的学习通过层次化特征约束（HFC）无缝同步，其中前者利用知识蒸馏策略监督后者。在两个基准VI-ReID数据集上的实验结果表明，所提方法持续以显著幅度改进最先进方法。具体而言，在RegDB数据集上，我们的方法相较最先进方法实现了近20 mAP提升。我们引人深思的发现凸显了辅助任务学习在VI-ReID中的效用。
引用
@article{arxiv.2201.03859,
title = {On Exploring Pose Estimation as an Auxiliary Learning Task for Visible-Infrared Person Re-identification},
author = {Yunqi Miao and Nianchang Huang and Xiao Ma and Qiang Zhang and Jungong Han},
journal= {arXiv preprint arXiv:2201.03859},
year = {2022}
}