中文

ReMoS:面向双人交互的3D运动条件化反应合成

计算机视觉与模式识别 2024-07-30 v3

摘要

当前3D人体运动合成方法能够生成高质量的数字人动画,涵盖多种动作与手势。然而,在该范式下处理多人交互的复杂动态仍存在显著技术空白。本文提出ReMoS,一种基于去噪扩散的模型,用于合成双人交互场景中一个人的全身反应运动。给定其中一人的运动,我们采用时空交叉注意力联合机制来合成第二人的反应式身体与手部运动,从而完成两人之间的交互。我们在双人舞蹈、忍术、踢拳和杂技等具有挑战性的场景中展示了ReMoS,其中一人的动作对另一人产生复杂且多样的影响。我们还贡献了包含全身与手指运动的双人交互ReMoCap数据集。我们通过多项定量指标、定性可视化及用户研究对ReMoS进行评估,并展示了其在交互式运动编辑应用中的可用性。

关键词

引用

@article{arxiv.2311.17057,
  title  = {ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions},
  author = {Anindita Ghosh and Rishabh Dabral and Vladislav Golyanik and Christian Theobalt and Philipp Slusallek},
  journal= {arXiv preprint arXiv:2311.17057},
  year   = {2024}
}

备注

29 pages, 7 figures, 7 tables