从视频到动画的非配对运动风格迁移

将运动风格从一个动画片段迁移到另一个片段，同时保留后者的运动内容，一直是角色动画中一个长期存在的问题。大多数现有的数据驱动方法属于监督学习并依赖配对数据，即具有相同内容的运动以不同风格呈现。此外，这些方法仅限于迁移训练期间见过的风格。在本文中，我们提出了一种新颖的数据驱动运动风格迁移框架，该框架从带有风格标签的非配对运动集合中学习，并能够迁移训练期间未观察到的运动风格。此外，我们的框架能够直接从视频中提取运动风格，绕过 3D 重建，并将其应用于 3D 输入运动。我们的风格迁移网络将运动编码为两个潜码，分别对应内容和风格，各自在解码（合成）过程中发挥不同作用。内容码通过若干时间卷积层解码为输出运动，而风格码则通过时间不变的自适应实例归一化（AdaIN）修改深度特征。此外，虽然内容码是从 3D 关节旋转编码得到的，但我们从 3D 或 2D 关节位置中学习风格的公共嵌入，从而实现从视频中提取风格。尽管不需要配对训练数据，我们的结果可与现有最优方法相媲美，并且在迁移先前未见的风格时优于其他方法。据我们所知，我们是首个展示从视频直接到 3D 动画的风格迁移的工作——这一能力使得风格示例的集合能够远远扩展到 MoCap 系统捕捉到的运动之外。