基于空间与时间嵌入的多人关节化跟踪
计算机视觉与模式识别
2019-03-25 v1
摘要
我们提出了一种用于多人姿态估计与跟踪的统一框架。我们的框架由两个主要组件组成，即SpatialNet与TemporalNet。SpatialNet在单帧中完成身体部位检测与部位级数据关联，而TemporalNet将连续帧中的人体实例分组为轨迹。具体而言，除身体部位检测热图外，SpatialNet还预测用于身体部位关联的关键点嵌入（KE）与空间实例嵌入（SIE）。我们将分组过程建模为一个可微分的姿态引导分组（PGG）模块，以使整个部位检测与分组流程完全端到端可训练。TemporalNet将关键点的空间分组扩展为人体实例的时间分组。给定来自两个连续帧的人体提议，TemporalNet利用编码于人体嵌入（HE）中的表观特征以及体现在时间实例嵌入（TIE）中的时间一致几何特征来实现鲁棒跟踪。大量实验证明了我们提出模型的有效性。值得注意的是，在ICCV'17 PoseTrack数据集上，我们相较最先进的姿态跟踪方法将多目标跟踪准确率（MOTA）从65.4%大幅提高到71.8%。
引用
@article{arxiv.1903.09214,
title = {Multi-person Articulated Tracking with Spatial and Temporal Embeddings},
author = {Sheng Jin and Wentao Liu and Wanli Ouyang and Chen Qian},
journal= {arXiv preprint arXiv:1903.09214},
year = {2019}
}
备注
CVPR2019