空间相关传感器的重要性：文本语义辅助的三维人体运动重建

利用可穿戴设备进行运动重建已成为一种经济且可行的技术。某些方法在人体上使用稀疏的惯性测量单元，并利用数据驱动策略来建模人体姿态。然而，仅基于稀疏惯性测量单元数据的运动重建固有地充满歧义，这是由大量相同的惯性测量单元读数对应不同姿态所致。本文探讨了多个传感器的空间重要性，并通过描述特定动作的文本进行监督。具体地，引入不确定性来为每个惯性测量单元导出加权特征。我们还设计了一个层次化时间变换器，并应用对比学习来实现传感器数据与文本语义的精确时间和特征对齐。实验结果表明，与现有方法相比，我们提出的方法在多个指标上取得了显著改进。值得注意的是，在文本监督下，我们的方法不仅能够区分诸如坐和站等歧义动作，还能产生更精确和自然的运动。