Sparkle: 一种用于基于点云的人体运动捕捉的鲁棒且通用的表示方法

基于点云的运动捕捉利用丰富的空间几何信息和隐私保护感知，但从未结构化点云中学习鲁棒表示仍然具有挑战性。现有方法在基于点的方法（几何细节丰富但噪声大）与基于骨架的方法（鲁棒但过度简化）之间面临艰难的权衡。我们解决了一个基本问题：如何构建一种有效的人体运动捕捉表示，在表现力与鲁棒性之间取得平衡。在本文中，我们提出了 Sparkle，一种将骨架关节与表面锚点统一的结构化表示，并具有显式的运动学-几何因子分解。我们的框架 SparkleMotion 通过嵌入几何连续性与运动学约束的分层模块来学习该表示。通过将内部运动学结构与外部表面几何显式解耦，SparkleMotion 不仅在精度上达到了最先进的性能，而且在严重域偏移、噪声和遮挡条件下的鲁棒性与泛化能力也至关重要。大量实验证明了我们在多种传感器类型和具有挑战性的真实场景中的优越性。