人体运动数据的时间对齐：一种几何视角

时间对齐是多数涉及视频的应用（动作识别、运动迁移、虚拟教练、康复等）中的固有任务。本文从几何视角深入剖析该任务：特别地，我们表明，时间对齐过程所预期的基本性质意味着，相对于模板的对齐运动集合构成时间重参数化群的主纤维丛的一个切片。时间对齐过程提供了到该特定切片的重参数化不变投影。这一几何表述允许构造一致性检验以测试任意时间对齐过程的准确性。我们给出文献中应用于网球运动员运动的对齐过程实例。其中多数采用动态规划计算两运动相对于给定代价函数的最佳对应。该步骤计算代价高昂（复杂度为 $O(NM)$，其中 $N$ 与 $M$ 为帧数）。此外，多数方法使用的特征在 $\mathbb{R}^3$ 中对于平移与旋转不变，而多数动作仅对沿竖直轴平移与绕竖直轴旋转不变，其中竖直轴与重力场对齐。竖直方向中被丢弃的信息对运动的精确同步至关重要。我们提出将基于从竖直变化（本例中为持拍臂的抬升）提取的粗粒度信息的关键帧对应纳入动态规划算法。所产生的时间对齐过程不仅更精确，且计算更高效。