学习复杂三维人体自接触

单目估计三维人体自接触对于精细场景分析（包括肢体语言理解与行为建模）至关重要。现有三维重建方法不关注自接触身体区域，因而恢复出的构型在应仅相触时要么彼此远离要么自相交。这导致感知上不正确的估计，并限制了在那些期望详细三维模型发挥重要作用的极细粒度分析领域中的影响。为应对此类挑战，我们检测自接触并设计三维损失以显式强制自接触。具体而言，我们开发了自接触预测（Self-Contact Prediction, SCP）模型，该模型利用训练与推理期间图像中自接触的定位来估计自接触的身体表面特征。我们收集了两个大型数据集以支持学习与评估：（1）HumanSC3D，一个精确三维动作捕捉库，含$1,032$序列、$5,058$个接触事件及$1,246,487$个与多视角采集图像同步的真值三维姿态；（2）FlickrSC3D，一个含$3,969$张图像的数据集，具有$25,297$个带标注图像空间支持的曲面-曲面对应。我们还展示了如何在自接触特征约束下恢复更具表现力的三维重建，并呈现单目面部触摸检测作为更精确自接触模型所赋能的多种应用之一。