一种具有局部感知的自监督步态编码方法用于基于三维骨架的人员重识别
摘要
通过三维骨架序列中的步态特征进行人员重识别（Re-ID）是一个新兴的话题，具有若干优势。现有方案要么依赖手工描述符，要么依赖有监督的步态表示学习。本文提出一种自监督步态编码方法，可利用无标签骨架数据学习步态表示以用于人员 Re-ID。具体而言，我们首先通过反向重建无标签骨架序列来创建自监督，其涉及更丰富的高层语义以获得更好的步态表示。还探索了其他 pretext 任务以进一步改进自监督学习。其次，受运动的连续性赋予一个骨架序列中相邻骨架以及时间上连续的骨架序列更高相关性（称为三维骨架数据中的局部性）这一事实启发，我们提出了一种局部感知注意力机制与一种局部感知对比学习方案，旨在自监督学习期间分别保持序列内级别与序列间级别的局部性感知。最后，利用由我们的局部感知注意力机制与对比学习方案学到的上下文向量，设计了一种名为基于对比注意力的步态编码（CAGEs）的新特征来有效表示步态。经验评估表明，我们的方法以 15-40% 的 Rank-1 准确率显著优于基于骨架的同类方法，甚至优于众多具有额外 RGB 或深度信息的多模态方法。我们的代码可在 https://github.com/Kali-Hac/Locality-Awareness-SGE 获取。
引用
@article{arxiv.2009.03671,
title = {A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D Skeleton Based Person Re-Identification},
author = {Haocong Rao and Siqi Wang and Xiping Hu and Mingkui Tan and Yi Guo and Jun Cheng and Xinwang Liu and Bin Hu},
journal= {arXiv preprint arXiv:2009.03671},
year = {2021}
}
备注
Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMI). Journal version of https://www.ijcai.org/proceedings/2020/0125 (IJCAI 2020). Codes are available at https://github.com/Kali-Hac/Locality-Awareness-SGE. arXiv admin note: text overlap with arXiv:2008.09435