MulSMo: 基于双向控制流的多模态风格化运动生成
计算机视觉与模式识别
2025-03-19 v2
摘要
生成符合目标风格且遵循内容提示的运动序列需要同时兼顾内容与风格信息。现有方法通常仅实现从风格到内容的信息单向流动，可能导致风格与内容之间的冲突，影响二者的融合。本文构建了风格与内容之间的双向控制流，同时调整风格以适应内容，从而减轻风格-内容冲突，更好地保留风格在融合过程中的动态特征。此外，我们通过对比学习，将风格化运动生成从单一模态（风格运动）扩展至包括文本和图像等多模态，实现了对运动生成的灵活风格控制。大量实验表明，我们的方法在不同数据集上均显著优于先前方法，并实现了多模态信号的控制。本方法的代码将对外公开发布。
引用
@article{arxiv.2412.09901,
title = {MulSMo: Multimodal Stylized Motion Generation by Bidirectional Control Flow},
author = {Zhe Li and Yisheng He and Lei Zhong and Weichao Shen and Qi Zuo and Lingteng Qiu and Zilong Dong and Laurence Tianruo Yang and Weihao Yuan},
journal= {arXiv preprint arXiv:2412.09901},
year = {2025}
}