WalkTheDog：基于相位流形的跨形态运动对齐

我们提出了一种新方法，用于独立于角色的形态学和骨骼结构来理解运动数据集的周期性结构和语义。不同于使用过于稀疏高维潜变量的现有方法，我们提出由多个闭合曲线组成的相位流形，每个曲线对应一种潜在幅值。通过我们提出的向量量化周期自编码器，我们学习了多个角色（例如人类和狗狗）的共享相位流形，且无需监督。这通过离散结构和作为瓶颈的浅层网络实现，使得语义相似的运动被聚类到流形的同一曲线中，同一组件内的运动通过相位变量实现时间对齐。结合改进的运动匹配框架，我们展示了该流形在多个应用中的时序和语义对齐能力，包括运动检索、迁移和风格化。本论文的代码和预训练模型可在 https://peizhuoli.github.io/walkthedog 查看。