面向视觉环境重建的人体感知物体放置
计算机视觉与模式识别
2022-03-30 v2 人工智能
图形学
摘要
人类在移动和与 world 交互时始终与 world 保持接触。这种接触是理解 3D 人体、3D 场景以及它们之间交互的重要信息来源。事实上，我们证明了可以利用这些人-场景交互（HSIs）来改进从单目 RGB 视频进行的场景 3D 重建。我们的核心思想是，当一个人移动并与场景交互时，我们在多张输入图像上累积 HSIs，并优化 3D 场景以重建一致、物理合理且功能性的 3D 场景布局。我们基于优化的方法利用了三类 HSI 约束：（1）在场景中移动的人体被物体遮挡或遮挡物体，从而定义物体的深度顺序；（2）人体在自由空间中移动且不与物体相互穿透；（3）当人体与物体接触时，接触表面占据空间中的同一位置。在所有观测中通过优化公式使用这些约束，我们显著改进了 3D 场景布局重建。此外，我们展示了我们的场景重建可用于优化初始的 3D 人体姿态与形状（HPS）估计。我们使用 PROX 和 PiGraphs 数据集对 3D 场景布局重建和 HPS 估计进行了定性与定量评估。代码和数据可用于研究目的，见 https://mover.is.tue.mpg.de/。
引用
@article{arxiv.2203.03609,
title = {Human-Aware Object Placement for Visual Environment Reconstruction},
author = {Hongwei Yi and Chun-Hao P. Huang and Dimitrios Tzionas and Muhammed Kocabas and Mohamed Hassan and Siyu Tang and Justus Thies and Michael J. Black},
journal= {arXiv preprint arXiv:2203.03609},
year = {2022}
}
备注
Accepted by CVPR2022