LASOR：通过合成遮挡感知数据与神经网格渲染学习精确的三维人体姿态和形状
计算机视觉与模式识别
2022-03-02 v5
摘要
人体姿态与形状估计任务中的一个关键挑战是遮挡，包括自遮挡、物体-人体遮挡和人际遮挡。多样且准确的姿态与形状训练数据的缺乏成为主要瓶颈，尤其是对于野外含遮挡场景。本文中，我们聚焦于人际遮挡情况下的人体姿态与形状估计，同时处理物体-人体遮挡与自遮挡。我们提出一种新颖框架，合成遮挡感知的轮廓与 2D 关键点数据，并直接回归至 SMPL 姿态与形状参数。利用神经 3D 网格渲染器实现即时轮廓监督，极大提升了形状估计。此外，合成全景视角下的关键点与轮廓驱动训练数据，以弥补现有数据集中视角多样性的不足。实验结果表明，在姿态估计精度上我们在 3DPW 和 3DPW-Crowd 数据集上处于最先进水平（state-of-the-art）。所提方法在形状估计上明显优于 Mesh Transformer、3DCrowdNet 和 ROMP。在 SSP-3D 的形状预测精度上也取得顶尖性能。演示与代码将发布于 https://igame-lab.github.io/LASOR/。
引用
@article{arxiv.2108.00351,
title = {LASOR: Learning Accurate 3D Human Pose and Shape Via Synthetic Occlusion-Aware Data and Neural Mesh Rendering},
author = {Kaibing Yang and Renshu Gu and Maoyu Wang and Masahiro Toyoura and Gang Xu},
journal= {arXiv preprint arXiv:2108.00351},
year = {2022}
}