面向遮挡行人重识别的特征擦除与扩散网络

Zhikang Wang; Feng Zhu; Shixiang Tang; Rui Zhao; Lihuo He; Jiangning Song

面向遮挡行人重识别的特征擦除与扩散网络

计算机视觉与模式识别 2022-04-01 v2

作者: Zhikang Wang , Feng Zhu , Shixiang Tang , Rui Zhao , Lihuo He , Jiangning Song

摘要

遮挡行人重识别(ReID)旨在将遮挡行人图像与不同摄像头视角下的整体行人图像进行匹配。目标行人(TP)通常受到非行人遮挡(NPO)和非目标行人(NTP)的干扰。以往方法主要关注提升模型对NPO的鲁棒性,而忽略了来自NTP的特征污染。本文提出一种新颖的特征擦除与扩散网络(FED)来同时处理NPO和NTP。具体而言,我们提出遮挡擦除模块(OEM)结合NPO增强策略消除NPO特征,该策略在整体行人图像上模拟NPO并生成精确的遮挡掩码。随后,我们通过一种新颖的特征扩散模块(FDM)利用可学习的跨注意力机制,将行人表征与其他记忆特征进行扩散,在特征空间中合成NTP特征。在OEM输出的遮挡分数引导下,特征扩散过程主要在可见身体部位上进行,从而保证了合成的NTP特征质量。通过在FED网络中联合优化OEM和FDM,我们能够大幅提升模型对TP的感知能力并缓解NPO和NTP的影响。此外,所提出的FDM仅作为训练的辅助模块,在推理阶段会被丢弃,因此几乎不引入额外的推理计算开销。在遮挡与整体行人ReID基准上的实验证明了FED优于现有SOTA方法,其中FED在Occluded-REID上取得了86.3%的Rank-1准确率,超越其他方法至少4.7%。

关键词

遮挡行人重识别特征擦除特征扩散非行人遮挡非目标行人跨注意力辅助训练模块

引用

@article{arxiv.2112.08740,
  title  = {Feature Erasing and Diffusion Network for Occluded Person Re-Identification},
  author = {Zhikang Wang and Feng Zhu and Shixiang Tang and Rui Zhao and Lihuo He and Jiangning Song},
  journal= {arXiv preprint arXiv:2112.08740},
  year   = {2022}
}

备注

10 pages, 5 figures

面向遮挡行人重识别的特征擦除与扩散网络

摘要

关键词

引用

备注

相关论文