利用时序信息的三维姿态估计
计算机视觉与模式识别
2018-10-23 v4
摘要
在这项工作中，我们解决了从一系列二维人体姿态估计三维人体姿态的问题。尽管深度网络近期的成功使得许多最先进的三维姿态估计方法训练深度网络端到端地直接从图像进行预测，但性能最优的方法已表明将三维姿态估计任务分为两步的有效性：使用最先进的二维姿态估计器从图像估计二维姿态，然后将它们映射到三维空间。它们还表明，像一组关节的二维位置这样的低维表示足以具有判别力，以高精度估计三维姿态。然而，对单帧的三维姿态估计由于每帧的独立误差导致抖动，从而产生时间上不连贯的估计。因此，在本工作中，我们利用跨序列的二维关节位置的时间信息来估计三维姿态序列。我们设计了一个由层归一化 LSTM 单元组成的序列到序列网络，在解码端具有连接输入与输出的快捷连接，并在训练期间施加时间平滑约束。我们发现，时间一致性的知识将 Human3.6M 数据集上报道的最佳结果提高了约 ，并帮助我们的网络在图像序列上恢复时间一致的三维姿态，即使在二维姿态检测器失效时也是如此。
引用
@article{arxiv.1711.08585,
title = {Exploiting temporal information for 3D pose estimation},
author = {Mir Rayat Imtiaz Hossain and James J. Little},
journal= {arXiv preprint arXiv:1711.08585},
year = {2018}
}