PLACE：三维环境中关节与接触邻近学习
计算机视觉与模式识别
2020-11-13 v4
摘要
近年来提出了高保真数字三维环境，然而如何自动为这类环境配备逼真的人体仍然极具挑战。现有工作利用图像、深度图或语义图来表示场景，并利用参数化人体模型来表示三维身体。尽管直观，其生成的人体-场景交互往往缺乏自然性与物理合理性。我们的核心观察是，人类通过身体与场景的接触来与世界交互。要合成逼真的人体-场景交互，必须有效表征身体与世界之间的物理接触与邻近关系。为此，我们提出了一种新颖的交互生成方法，名为 PLACE（Proximity Learning of Articulation and Contact in 3D Environments，三维环境中关节与接触邻近学习），其显式建模人体与其周围三维场景之间的邻近关系。具体而言，给定场景网格上的一组基点，我们利用条件变分自编码器来合成从基点到人体表面的最小距离。所生成的邻近关系展示了场景的哪个区域与人发生接触。此外，基于此类合成的邻近关系，我们能够有效获得与三维场景自然交互且富有表现力的三维人体。我们的感知研究表明，PLACE 显著优于最先进的方法，逼近真实人体-场景交互的真实感。我们相信我们的方法向三维场景中逼真三维人体的全自动合成迈出了重要一步。代码与模型已发布于 https://sanweiliti.github.io/PLACE/PLACE.html 供研究使用。
引用
@article{arxiv.2008.05570,
title = {PLACE: Proximity Learning of Articulation and Contact in 3D Environments},
author = {Siwei Zhang and Yan Zhang and Qianli Ma and Michael J. Black and Siyu Tang},
journal= {arXiv preprint arXiv:2008.05570},
year = {2020}
}
备注
Accepted by 3DV 2020, camera ready version with appendix