基于局部性感知注意力的自监督步态编码用于行人重识别
计算机视觉与模式识别
2020-08-24 v1
摘要
基于步态的行人重识别 (Re-ID) 对安全关键型应用很有价值，且仅使用 3D 骨架数据提取有判别力的步态特征用于行人 Re-ID 是一个新兴的开放课题。现有方法要么采用手工特征，要么通过传统监督学习范式学习步态特征。与以往方法不同，我们首次提出了一种通用步态编码方法，可利用无标签骨架数据以自监督方式学习步态表示。具体而言，我们首先提出通过以逆序重建输入骨架序列来引入自监督，这有助于学习更丰富的高层语义和更好的步态表示。其次，受运动的连续性赋予时间相邻骨架更高相关性（“局部性”）这一事实启发，我们提出了一种局部性感知注意力机制，在重建当前骨架时鼓励为时间相邻骨架学习更大的注意力权重，从而在学习步态编码时习得局部性。最后，我们提出了基于注意力的步态编码 (AGEs)，其使用由局部性感知注意力学习的上下文向量构建，作为最终步态表示。AGEs 被直接用于实现有效的行人 Re-ID。我们的方法通常将现有基于骨架的方法的 Rank-1 准确率提升 10-20%，并且取得了与具有额外 RGB 或深度信息的多模态方法相当甚至更优的性能。我们的代码见 https://github.com/Kali-Hac/SGE-LA。
引用
@article{arxiv.2008.09435,
title = {Self-Supervised Gait Encoding with Locality-Aware Attention for Person Re-Identification},
author = {Haocong Rao and Siqi Wang and Xiping Hu and Mingkui Tan and Huang Da and Jun Cheng and Bin Hu},
journal= {arXiv preprint arXiv:2008.09435},
year = {2020}
}
备注
Accepted at IJCAI 2020 Main Track. Sole copyright holder is IJCAI. Codes are available at https://github.com/Kali-Hac/SGE-LA