SOMA：自动求解基于光学标记的运动捕捉

基于标记的光学运动捕捉（mocap）是计算机视觉、医学和图形学中获取精确三维人体运动的“黄金标准”方法。这些系统的原始输出是含噪声且不完整的 3D 点或短的点轨迹。为使其有用，必须将这些点与所捕捉对象上的对应标记关联起来，即“标注”。给定这些标签后，便可“求解”出 3D 骨架或身体表面网格。商业自动标注工具在捕捉时需要特定的校准流程，这对档案数据而言是不可能的。在此，我们训练了一个名为 SOMA 的新型神经网络，它接收具有可变点数的原始 mocap 点云，无需任何校准数据即可大规模标注它们，且独立于捕捉技术，仅需最少的人为干预。我们的核心见解是：尽管标注点云具有高度模糊性，但 3D 身体为解提供了可由基于学习的方法利用的强约束。为支持学习，我们生成了由 AMASS 中 3D 身体驱动的大规模模拟噪声与真实 mocap 标记训练集。SOMA 利用带有堆叠自注意力元素的架构来学习 3D 身体的空间结构，并利用最优传输层来约束分配（标注）问题同时拒绝离群点。我们从定量和定性两方面对 SOMA 进行了广泛评估。SOMA 比现有最先进研究方法更准确、更鲁棒，并可应用于商业系统无法适用的场景。我们自动标注了来自 4 个不同数据集、使用多种技术捕捉的超过 8 小时的档案 mocap 数据，并输出 SMPL-X 身体模型。该模型与数据已发布供研究使用：https://soma.is.tue.mpg.de/。