中文

MoST:不同动作内容间的运动风格 Transformer

计算机视觉与模式识别 2024-03-21 v2 人工智能

摘要

尽管现有的运动风格迁移方法在具有相同内容的两个运动之间是有效的,但当在不同内容的运动之间迁移风格时,其性能会显著下降。这一挑战在于运动的内容与风格之间缺乏清晰的分离。为了应对这一挑战,我们提出了一种新颖的运动风格 Transformer,它能有效地将风格与内容解耦,并从源运动生成具有迁移风格的合理运动。我们实现解耦目标的独特方法包含两方面:(1) 一种新颖的运动风格 Transformer 架构,包含“跨身体部位的部位注意力风格调制器”和“分别编码风格与内容特征的孪生编码器”;(2) 风格解耦损失。我们的方法优于现有方法并展现出极高的质量,特别是在具有不同内容的运动对中,且无需启发式后处理。代码可在 https://github.com/Boeun-Kim/MoST 获取。

关键词

引用

@article{arxiv.2403.06225,
  title  = {MoST: Motion Style Transformer between Diverse Action Contents},
  author = {Boeun Kim and Jungho Kim and Hyung Jin Chang and Jin Young Choi},
  journal= {arXiv preprint arXiv:2403.06225},
  year   = {2024}
}

备注

Accepted by CVPR 2024