UltraPose：基于人体解耦三维模型合成十亿级稠密姿态
计算机视觉与模式识别
2021-10-29 v1
摘要
从图像中恢复稠密人体姿态对于建立 RGB 图像与人体三维表面之间的图像到表面对应至关重要，是虚拟人、单目到三维重建等丰富现实应用的基础。然而，流行的 DensePose-COCO 数据集依赖复杂的手动标注系统，导致在获取更稠密、更准确的标注姿态资源方面存在严重局限。本文提出一种具有一系列解耦参数的新三维人体模型，可自由控制人体的生成。进而，基于该解耦三维模型构建数据生成系统，并构造了超稠密合成基准 UltraPose，包含约 13 亿个对应点。与现有人工标注的 DensePose-COCO 数据集相比，合成 UltraPose 具有超稠密的图像到表面对应，且无标注成本与误差。我们提出的 UltraPose 提供了用于提升模型预测更精确稠密姿态能力的最大基准与数据资源。为推动该领域未来研究，我们还提出一种基于 transformer 的方法来建模二维与三维世界间的稠密对应。在合成 UltraPose 上训练的所提模型可应用于真实场景，表明了我们的基准与模型的有效性。
引用
@article{arxiv.2110.15267,
title = {UltraPose: Synthesizing Dense Pose with 1 Billion Points by Human-body Decoupling 3D Model},
author = {Haonan Yan and Jiaqi Chen and Xujie Zhang and Shengkai Zhang and Nianhong Jiao and Xiaodan Liang and Tianxiang Zheng},
journal= {arXiv preprint arXiv:2110.15267},
year = {2021}
}
备注
Accepted to ICCV 2021