检测图像中的人体-物体接触

人类不断接触物体以移动和执行任务。因此，检测人体-物体接触对于构建以人为中心的人工智能非常重要。然而，目前没有鲁棒的方法从图像中检测身体与场景之间的接触，也没有数据集来学习这样的检测器。我们通过 HOT（“人体-物体接触”）填补了这一空白，这是一个用于图像的人体-物体接触新数据集。为构建 HOT，我们使用两个数据源：（1）使用 PROX 数据集（包含在 3D 场景中移动的 3D 人体网格），通过 3D 网格邻近度和投影自动标注 2D 图像区域的接触。（2）使用 V-COCO、HAKE 和 Watch-n-Patch 数据集，并让经过训练的标注者绘制接触发生的 2D 图像区域的多边形。我们还标注了所涉及的人体身体部位。我们使用 HOT 数据集训练了一个新的接触检测器，该检测器以单张彩色图像为输入，输出 2D 接触热力图以及接触的身体部位标签。这是一个新的具有挑战性的任务，将当前的脚-地面或手-物体接触检测器扩展到全身的完全通用性。该检测器使用部位注意力分支，通过周围身体部位和场景的上下文来引导接触估计。我们广泛评估了我们的检测器，定量结果表明我们的模型优于基线，并且所有组件都有助于提高性能。来自在线存储库的图像上的结果显示了合理的检测和泛化能力。