Captain Cinema：面向短片生成的框架

Junfei Xiao; Ceyuan Yang; Lvmin Zhang; Shengqu Cai; Yang Zhao; Yuwei Guo; Gordon Wetzstein; Maneesh Agrawala; Alan Yuille; Lu Jiang

Captain Cinema：面向短片生成的框架

计算机视觉与模式识别 2025-07-25 v1

作者: Junfei Xiao , Ceyuan Yang , Lvmin Zhang , Shengqu Cai , Yang Zhao , Yuwei Guo , Gordon Wetzstein , Maneesh Agrawala , Alan Yuille , Lu Jiang

在 arXiv 上查看 ↗ PDF ↗

摘要

我们提出了 Captain Cinema，这是一个用于短片生成的框架。给定电影情节的详细文本描述，我们的方法首先生成一系列关键帧，以概述整个叙事，确保故事和视觉表现（例如场景和人物）在长范围内的连贯性。我们称此步骤为自上而下的关键帧规划。这些关键帧随后作为视频合成模型的条件信号，用于生成它们之间的时空动态。此步骤称为自下而上的视频合成。为支持多场景长叙事电影作品的稳定高效生成，我们引入了针对长上下文视频数据的多模态扩散转换器（MM-DiT）的交错训练策略。我们的模型在特别精选的电影数据集上进行训练，数据集包含交错的数据对。我们的实验表明，Captain Cinema 在自动创建视觉连贯且叙事一致的高质量短电影方面表现优异，同时具有高效性。项目页面：https://thecinema.ai

关键词

短片生成关键帧规划视频合成多模态扩散转换器长上下文建模

引用

@article{arxiv.2507.18634,
  title  = {Captain Cinema: Towards Short Movie Generation},
  author = {Junfei Xiao and Ceyuan Yang and Lvmin Zhang and Shengqu Cai and Yang Zhao and Yuwei Guo and Gordon Wetzstein and Maneesh Agrawala and Alan Yuille and Lu Jiang},
  journal= {arXiv preprint arXiv:2507.18634},
  year   = {2025}
}

备注

Under review. Project page: https://thecinema.ai

Captain Cinema：面向短片生成的框架

摘要

关键词

引用

备注

相关论文