基于约束扩散生成的可扩展运动风格迁移
计算机视觉与模式识别
2023-12-13 v1 人工智能
机器学习
摘要
当前运动风格迁移系统的训练依赖于跨风格域的一致性损失来保留内容，这阻碍了其向大量域和私有数据的可扩展应用。最近的图像迁移工作展示了利用扩散模型之间的隐式桥接在每个域上进行独立训练的潜力，然而其内容保留仅限于简单的数据模式。我们通过在反向扩散过程中施加有偏采样来解决这一问题，同时在训练阶段保持域独立性。我们从源域关键帧构建偏置，并将其作为内容约束的梯度，从而产生了一个具有关键帧流形约束梯度（KMCGs）的框架。我们的验证证明了训练独立模型在多达十种舞蹈运动风格之间进行迁移的成功。综合实验发现，与基线和基于扩散的消融风格迁移模型相比，在保留运动内容方面有显著改善。此外，我们进行了一项人类研究，以对生成的舞蹈运动质量进行主观评估。结果验证了 KMCGs 的竞争力。
引用
@article{arxiv.2312.07311,
title = {Scalable Motion Style Transfer with Constrained Diffusion Generation},
author = {Wenjie Yin and Yi Yu and Hang Yin and Danica Kragic and Mårten Björkman},
journal= {arXiv preprint arXiv:2312.07311},
year = {2023}
}