在无人的场景中生成三维人体
计算机视觉与模式识别
2020-04-21 v3
摘要
我们提出一个全自动系统，其接收一个 3D 场景并生成在该 3D 场景中自然摆姿的合理 3D 人体。给定一个无人的 3D 场景，人类可以轻易想象人们如何与该场景及其中的物体交互。然而，这对计算机而言是一项挑战性任务，因为解决它需要：(1) 所生成的人体在 3D 环境中语义上合理（例如人坐在沙发上或在灶台旁烹饪），且 (2) 所生成的人-场景交互在物理上可行，使得人体与场景不互相穿透，同时身体-场景接触支撑物理交互。为此，我们利用基于表面的 3D 人体模型 SMPL-X。我们首先训练一个条件变分自编码器，以潜在场景表示为条件预测语义合理的 3D 人体姿态，然后进一步利用场景约束精炼所生成的 3D 身体以强制可行的物理交互。我们展示我们的方法能够合成真实且富有表现力的、与自然 3D 环境交互的 3D 人体。我们进行了大量实验，表明我们的生成框架在定性与定量上均优于现有方法。我们相信我们的场景条件化 3D 人体生成流水线将有益于众多应用；例如，为人姿态估计生成训练数据、在视频游戏及 VR/AR 中。我们的数据与代码项目页见：\url{https://vlg.inf.ethz.ch/projects/PSI/}。
引用
@article{arxiv.1912.02923,
title = {Generating 3D People in Scenes without People},
author = {Yan Zhang and Mohamed Hassan and Heiko Neumann and Michael J. Black and Siyu Tang},
journal= {arXiv preprint arXiv:1912.02923},
year = {2020}
}
备注
cvpr'20, camera ready version with appendix