可学习的人体姿态三角测量
计算机视觉与模式识别
2019-05-15 v1 人工智能
摘要
我们提出了两种基于新型可学习三角测量方法的多视角3D人体姿态估计解决方案，这些方法结合了来自多个2D视图的3D信息。第一种（基线）解决方案是基本的微分代数三角测量，并增加了从输入图像估计的置信度权重。第二种解决方案基于一种从中间2D骨干网络特征图进行体素聚合的新方法。聚合后的体素随后通过3D卷积进行细化，生成最终的3D关节热图，并允许对人体姿态先验进行建模。关键在于，这两种方法都是端到端可微分的，这使我们能够直接优化目标度量。我们展示了解决方案在数据集间的可迁移性，并在Human3.6M数据集上显著改进了多视角SOTA（state of the art，最优性能）。视频演示、标注和补充材料将发布在我们的项目页面（https://saic-violet.github.io/learnable-triangulation）。
引用
@article{arxiv.1905.05754,
title = {Learnable Triangulation of Human Pose},
author = {Karim Iskakov and Egor Burkov and Victor Lempitsky and Yury Malkov},
journal= {arXiv preprint arXiv:1905.05754},
year = {2019}
}
备注
Project page: https://saic-violet.github.io/learnable-triangulation