PICO：重建与物体接触的3D人物

从单张彩色图像恢复3D人物-物体互动（HOI）面临深度歧义、遮挡以及物体形状和外观巨大差异的挑战。因此，以往方法需要受控环境（如已知物体形状和接触），且仅针对有限的物体类别。相反，需要能够泛化到自然图像和新物体类别的方法。我们通过两种主要方式来实现这一目标：（1）我们收集了PICO-db，一个新型的自然图像数据集，其中包含两个身体和物体网格上的稠密3D接触。为此，我们利用来自最近DAMON数据集的图像，这些图像与接触配对，但这些接触仅在规范3D身体上标注。在 contrast，我们寻求身体和物体上的接触标签。通过图像推断这些标签，我们从数据库中检索出合适的3D物体网格，同时利用视觉基础模型。然后，通过一种仅需每个接触补丁2次点击的新方法，将DAMON的身体接触补丁投影到物体上。这种最小的人类输入在身体和物体之间建立了丰富的接触对应关系。（2）我们利用我们的新接触对应数据集，通过一种新式的渲染-比较拟合方法（称为PICO-fit）来恢复与互动中的3D身体和物体网格。PICO-fit推断SMPL-X身体的接触，从PICO-db中检索该物体的可能3D物体网格和接触，并利用接触通过优化将3D身体和物体网格拟合到图像证据。PICO-fit在PICO-db中大量覆盖的物体类别上表现良好，这对于在野外扩展HOI理解至关重要。我们的数据和代码可在 https://pico.is.tue.mpg.de 提供。