StyleMotif：基于风格-内容跨融合的多模态运动风格化
计算机视觉与模式识别
2025-03-31 v1 人工智能
计算与语言
图形学
机器学习
摘要
我们提出StyleMotif，一种新的风格化运动潜在扩散模型，通过来自多种模态的内容和风格条件生成运动。不同于现有方法仅聚焦于生成多样化运动内容或从序列传递风格，StyleMotif能够无缝合成广泛内容范围内的运动，同时融合来自多模态输入（包括运动、文本、图像、视频和音频）的风格线索。为此，我们引入风格-内容跨融合机制，并将风格编码器与预训练的多模态模型对齐，确保生成的运动准确捕获参考风格，同时保持真实性。大量实验表明，我们的框架在风格化运动生成方面超越现有方法，并展现出多模态运动风格化的涌现能力，实现更细致的运动合成。源代码和预训练模型将在接受录取后发布。项目页面：https://stylemotif.github.io
引用
@article{arxiv.2503.21775,
title = {StyleMotif: Multi-Modal Motion Stylization using Style-Content Cross Fusion},
author = {Ziyu Guo and Young Yoon Lee and Joseph Liu and Yizhak Ben-Shabat and Victor Zordan and Mubbasir Kapadia},
journal= {arXiv preprint arXiv:2503.21775},
year = {2025}
}
备注
Project Page: https://stylemotif.github.io