生成式空间关系学：从图像中学习三维社交互动先验

社交互动是人类行为与沟通的基本方面。个体相对于他人的 positioning 方式，亦称空间关系学（proxemics），传达社交线索并影响社交互动的动态。由于相互遮挡以及大型训练数据集的有限可用性，从图像中重建此类互动面临挑战。为此，我们提出一种新方法，学习近距离三维社交互动中两人的空间关系学先验，并展示其在单视图三维重建中的用途。我们首先利用带有接触标注的图像数据集创建互动人物的三维训练数据。随后，我们使用一种称为 BUDDI 的新型去噪扩散模型对空间关系学进行建模，该模型学习近距离社交互动中两人姿态的联合分布。从我们的生成式空间关系学模型中采样可生成逼真的人体三维互动，我们通过一项感知研究对其进行了验证。我们利用 BUDDI，通过一种以扩散模型为先验的优化方法，从单张无接触标注的图像中重建近距离的两人。我们的方法从含噪初始估计中恢复准确且合理的三维社交互动，优于最先进（SOTA）方法。我们的代码、数据和模型可在项目网站获取：muelea.github.io/buddi。