MoCapDeform：可变形场景中的单目三维人体运动捕捉

从单目 RGB 图像中尊重受试者与复杂且可能可变形环境交互的三维人体运动捕捉是一个极具挑战性、病态且未被充分探索的问题。现有方法仅弱化处理该问题，且未建模人类与场景表面交互时经常发生的表面形变。相反，本文提出 MoCapDeform，即一种用于单目三维人体运动捕捉的新框架，它首个显式建模三维场景的非刚性形变，以改进三维人体姿态估计与可变形环境重建。MoCapDeform 接受一段单目 RGB 视频和一个在相机空间中对齐的三维场景网格。它首先利用一种基于射线投射的新策略在输入单目视频中定位受试者并给出稠密接触标签。接着，我们利用人体-环境交互约束联合优化全局三维人体姿态与非刚性表面形变。MoCapDeform 在多个数据集上取得了优于对比方法的精度，包括我们新录制的具有可变形背景场景的数据集。