在虚拟世界中学习检测与跟踪可见及遮挡的人体关节
计算机视觉与模式识别
2018-09-19 v3
摘要
开放世界环境下的多目标跟踪需要在精确检测方面付出特别的努力。此外，当场景杂乱引入了目标遮挡这一挑战性问题时，检测阶段的时间连续性变得更加重要。为此，我们提出了一种深度网络架构，能够联合提取人体部位并在短时间跨度内将其关联。我们的模型通过对不可见关节生成合理的估计，显式地处理了被遮挡的人体部位。我们提出了一种新的端到端架构，由四个分支（可见热图、遮挡热图、部位亲和场和时间亲和场）组成，由时间链接特征提取器提供输入。为了克服缺乏带有跟踪、身体部位和遮挡注释的监控数据，我们利用逼真的电子游戏创建了用于城市场景中人员跟踪的最大计算机图形数据集。迄今为止，这是用于城市场景中人员跟踪的最大的人体部位数据集（约 500,000 帧，近 1000 万个人体姿态）。我们在虚拟数据上训练的架构在公开的真实跟踪基准上也展现出良好的泛化能力，当图像分辨率和清晰度足够高时，能够产生可靠的短轨迹，可用于后续的批量数据关联或重识别模块。
引用
@article{arxiv.1803.08319,
title = {Learning to Detect and Track Visible and Occluded Body Joints in a Virtual World},
author = {Matteo Fabbri and Fabio Lanzi and Simone Calderara and Andrea Palazzi and Roberto Vezzani and Rita Cucchiara},
journal= {arXiv preprint arXiv:1803.08319},
year = {2018}
}
备注
Accepted at ECCV 2018