基于跨模态 Transformer 的舞蹈风格迁移
机器学习
2023-04-04 v3 多媒体
摘要
我们提出 CycleDance，一种舞蹈风格迁移系统，可将一段某舞蹈风格的现有动作片段转换为另一舞蹈风格的动作片段，同时尽量保留舞蹈的运动上下文。我们的方法扩展了已有的 CycleGAN 架构以建模音频序列，并集成多模态 transformer 编码器以考虑音乐上下文。我们采用基于序列长度的课程学习来稳定训练。我们的方法捕捉了运动帧之间丰富且长期的帧内关系，这是运动迁移与合成工作中的常见挑战。我们进一步引入新的度量指标，用于在舞蹈动作背景下衡量迁移强度与内容保留。我们进行了广泛的消融研究以及一项包含 30 名具有 5 年及以上舞蹈经验参与者的用户研究。结果表明，CycleDance 生成具有目标风格的真实动作，在自然度、迁移强度与内容保留上显著优于基线 CycleGAN。
引用
@article{arxiv.2208.09406,
title = {Dance Style Transfer with Cross-modal Transformer},
author = {Wenjie Yin and Hang Yin and Kim Baraka and Danica Kragic and Mårten Björkman},
journal= {arXiv preprint arXiv:2208.09406},
year = {2023}
}