SmartDirector: 基于关键帧条件与叙事节奏控制的电影级视频生成
计算机视觉与模式识别
2026-05-28 v1 人工智能
摘要
视频的叙事质量从根本上决定了其感知价值。尽管现有的视频生成方法可以生成视觉上吸引人的内容，但它们主要依赖于稀疏的条件信号，如文本提示或首/末帧，这限制了对叙事结构和时间节奏的精确控制。在本文中，我们提出了SmartDirector，一个通过多个关键帧增强视频生成模型叙事能力的框架。SmartDirector支持灵活的生成长场景，包括单镜头生成、多镜头叙事合成和视频扩展。该框架分两个阶段运行：Director-Gen根据提供的关键帧生成低分辨率视频，Director-SR通过利用高分辨率关键帧作为语义锚点来恢复精细细节，从而优化输出。为了实现鲁棒的多关键帧训练，我们构建了一个数据管道，从电影中整理单镜头和多镜头序列。大量实验表明，SmartDirector显著优于现有的最先进方法。我们将发布代码以促进进一步研究。
引用
@article{arxiv.2605.27891,
title = {SmartDirector: Keyframe-Conditioned Cinematic Video Generation with Narrative Pacing Control},
author = {Zhida Zhang and Jie Ma and Zhan Peng and Haoxue Wu and Yang Han and Jun Liang and Jie Cao and Jing Li},
journal= {arXiv preprint arXiv:2605.27891},
year = {2026}
}