基于师生解码器的部件表示学习用于遮挡行人重识别
计算机视觉与模式识别
2023-12-18 v1 机器学习
多媒体
摘要
由于遮挡干扰和不完整的目标信息，遮挡行人重识别是一项极具挑战性的任务。利用人体姿态或人体解析等外部线索来定位和对齐部件特征，已被证明在遮挡行人重识别中非常有效。同时，近期的 Transformer 结构具有强大的长距离建模能力。考虑到上述事实，我们提出了一种用于遮挡行人重识别的师生解码器框架，该框架借助人体解析利用 Transformer 解码器。更具体地说，我们提出的 TSD 由一个解析感知教师解码器和一个标准学生解码器组成。PTD 利用人体解析线索来约束 Transformer 的注意力，并通过特征蒸馏将该信息传递给 SSD。由此，SSD 可以从 PTD 中学习，自动聚合身体部位的信息。此外，设计了一个掩码生成器以提供具有判别性的区域，从而实现更好的重识别。另外，现有的遮挡行人重识别基准使用遮挡样本作为查询，这会放大缓解遮挡干扰的作用，并低估特征缺失问题的影响。相比之下，我们提出了一个使用非遮挡查询的新基准，作为对现有基准的补充。大量实验表明，我们提出的方法具有优越性，且新基准是必要的。源代码可在 https://github.com/hh23333/TSD 获取。
引用
@article{arxiv.2312.09797,
title = {Part Representation Learning with Teacher-Student Decoder for Occluded Person Re-identification},
author = {Shang Gao and Chenyang Yu and Pingping Zhang and Huchuan Lu},
journal= {arXiv preprint arXiv:2312.09797},
year = {2023}
}
备注
Accepted by ICASSP2024