基于循环图卷积网络的姿态辅助视频行人重识别
计算机视觉与模式识别
2022-09-26 v1
摘要
现有视频行人重识别（ReID）方法主要通过特征提取器与特征聚合器学习给定行人的外观特征。然而当不同行人具有相似外观时，外观模型会失效。考虑到不同行人具有不同的行走姿态与身体比例，我们提出在视频检索中学习超越外观特征的判别性姿态特征。具体地，我们实现双分支架构分别学习外观特征与姿态特征，随后拼接用于推理。为学习姿态特征，我们首先通过现成姿态检测器检测每帧中行人姿态，并利用姿态序列构建时序图。接着我们利用循环图卷积网络（RGCN）学习时序姿态图的节点嵌入，其设计了一种全局信息传播机制以同时实现帧内节点的邻域聚合与帧间图的消息传递。最后，我们提出由节点注意力与时间注意力组成的双重注意力方法，从节点嵌入中获得时序图表示，其中采用自注意力机制学习各节点与各帧的重要性。我们在Mars、DukeMTMC与iLIDS-VID三个视频ReID数据集上验证了所提方法，实验结果表明学习的姿态特征能有效提升现有外观模型的性能。
引用
@article{arxiv.2209.11582,
title = {Pose-Aided Video-based Person Re-Identification via Recurrent Graph Convolutional Network},
author = {Honghu Pan and Qiao Liu and Yongyong Chen and Yunqi He and Yuan Zheng and Feng Zheng and Zhenyu He},
journal= {arXiv preprint arXiv:2209.11582},
year = {2022}
}