CHORE：从单张 RGB 图像重建接触、人体与物体
计算机视觉与模式识别
2023-11-01 v3
摘要
大多数先前从图像感知 3D 人体的工作都将人孤立地推理而不考虑其周围环境。然而，人类不断与周围物体交互，因此需要能够不仅推理人体而且推理物体及其交互的模型。该问题由于人与物体间的严重遮挡、多样的交互类型以及深度歧义而极具挑战性。在本文中，我们提出 CHORE，一种从单张 RGB 图像联合重建人体与物体的新方法。CHORE 从隐式表面学习的最新进展与经典的基于模型的拟合中获得启发。我们计算以两个无符号距离场隐式表示的人体与物体的神经重建、到参数化身体的对应场以及一个物体位姿场。这使我们能够鲁棒地拟合参数化身体模型与 3D 物体模板，同时推理交互。此外，先前的像素对齐隐式学习方法使用合成数据并做出真实数据中不满足的假设。我们提出一种优雅的深度感知缩放，使得在真实数据上更高效的形状学习成为可能。实验表明，我们用所提策略学习的联合重建显著优于 SOTA。我们的代码与模型可在 https://virtualhumans.mpi-inf.mpg.de/chore 获取。
引用
@article{arxiv.2204.02445,
title = {CHORE: Contact, Human and Object REconstruction from a single RGB image},
author = {Xianghui Xie and Bharat Lal Bhatnagar and Gerard Pons-Moll},
journal= {arXiv preprint arXiv:2204.02445},
year = {2023}
}
备注
Accepted at ECCV 2022, edited the acknowledgement