DECO：野外环境下人体与场景密集三维接触估计
计算机视觉与模式识别
2023-09-28 v1
摘要
理解人类如何利用物理接触与世界交互是赋能以人为中心的人工智能的关键。尽管推断三维接触对于建模真实且物理合理的的人-物交互至关重要，现有方法或聚焦于二维、或考虑身体关节而非表面、或使用粗糙的三维身体区域、或无法泛化至野外图像。相比之下，我们专注于推断任意图像中完整身体表面与物体之间的密集三维接触。为此，我们首先收集了 DAMON——一个包含密集顶点级接触标注并配有含复杂人-物及人-场景接触的 RGB 图像的新数据集。其次，我们训练了 DECO，一种新颖的三维接触检测器，它利用身体部位驱动与场景上下文驱动的注意力在 SMPL 身体上估计顶点级接触。DECO 基于如下洞见：人类观察者通过推理接触身体部位、其与场景物体的邻近度以及周围场景上下文来识别接触。我们在 DAMON 以及 RICH 和 BEHAVE 数据集上对所提检测器进行了广泛评估，在所有基准上显著优于现有 SOTA 方法。我们还定性地展示 DECO 能很好泛化至自然图像中多样且具挑战性的真实世界人类交互。代码、数据与模型见 https://deco.is.tue.mpg.de。
引用
@article{arxiv.2309.15273,
title = {DECO: Dense Estimation of 3D Human-Scene Contact In The Wild},
author = {Shashank Tripathi and Agniv Chatterjee and Jean-Claude Passy and Hongwei Yi and Dimitrios Tzionas and Michael J. Black},
journal= {arXiv preprint arXiv:2309.15273},
year = {2023}
}
备注
Accepted as Oral in ICCV'23. Project page: https://deco.is.tue.mpg.de