野外的单目人-物体重建

学习人-物体空间关系的先验知识对于从图像中重建人-物体交互以及理解人类如何在三维空间中与物体交互至关重要。之前的工作从受控环境中收集的数据集学习这种先验，但由于领域的多样性，它们难以泛化到真实场景。为克服这一限制，我们提出了一种仅从野外的二维图像中学习三维人-物体空间关系先验的二维监督方法。我们的方法利用基于流的神经网络来学习数据集中每张图像的二维人-物体关键点布局和视口的先验分布。从二维图像中学习的先验的有效性通过在优化后阶段应用先验来调整人与物体之间的相对姿态，在人-物体重建任务中得到验证。为了在野外图像上验证和基准测试我们的方法，我们从YouTube网站收集了WildHOI数据集，该数据集包含在真实场景中与8种物体的各种交互。我们在室内BEHAVE数据集和室外WildHOI数据集上进行了实验。结果表明，即使我们仅利用了二维布局信息，我们的方法在BEHAVE数据集上取得了与全三维监督方法几乎相当的性能，并且在野外图像上的泛化性和交互多样性方面优于之前的方法。