MovieCharacter：一个免调优的可控角色视频合成框架
计算机视觉与模式识别
2025-01-14 v2
摘要
角色视频合成的最新进展仍然依赖于大量的微调或复杂的3D建模过程，这可能会限制可访问性并阻碍实时应用。为了解决这些挑战，我们提出了一个简单而有效的免调优角色视频合成框架，名为MovieCharacter，旨在简化合成流程，同时确保高质量的输出。我们的框架将合成任务分解为不同的、可管理的模块：角色分割与跟踪、视频对象移除、角色动作模仿和视频合成。这种模块化设计不仅便于灵活定制，还确保每个组件协同工作，以有效满足用户需求。通过利用现有的开源模型并整合成熟的技术，MovieCharacter无需大量资源或专有数据集即可实现令人印象深刻的合成结果。实验结果表明，我们的框架提高了角色视频合成的效率、可访问性和适应性，为更广泛的创意和交互式应用铺平了道路。
引用
@article{arxiv.2410.20974,
title = {MovieCharacter: A Tuning-Free Framework for Controllable Character Video Synthesis},
author = {Di Qiu and Zheng Chen and Rui Wang and Mingyuan Fan and Changqian Yu and Junshi Huang and Xiang Wen},
journal= {arXiv preprint arXiv:2410.20974},
year = {2025}
}