ShotDirector: 导演可控的多镜头视频生成与电影化转场
计算机视觉与模式识别
2025-12-12 v1
摘要
镜头转场在多镜头视频生成中起着关键作用，因为它决定了整体叙事表达与导演视觉叙事设计。然而，近期研究主要聚焦于镜头间的低级视觉一致性，忽视了转场的设计方式以及电影化语言如何贡献于连贯的叙事表达。这往往导致缺乏 intentional 电影剪辑模式的简单顺序镜头切换。为解决这一局限，我们提出了 ShotDirector，一个高效框架，集成了参数级相机控制与分层编辑模式感知提示。具体而言，我们采用一个相机控制模块，引入 6-DoF 姿态与内参设置以实现精确的相机信息注入。此外，我们采用一种镜头感知掩码机制引入分层提示，使其具备专业编辑模式的感知能力，从而实现对镜头内容的细粒度控制。通过这一设计，我们的框架有效结合了参数级条件与高层语义指导，实现了电影化的可控镜头转场。为支持训练与评估，我们构建了 ShotWeaver40K，一个捕捉电影化编辑模式先验的数据集，并开发了一套用于可控多镜头视频生成的评估指标。大量实验验证了我们框架的有效性。
引用
@article{arxiv.2512.10286,
title = {ShotDirector: Directorially Controllable Multi-Shot Video Generation with Cinematographic Transitions},
author = {Xiaoxue Wu and Xinyuan Chen and Yaohui Wang and Yu Qiao},
journal= {arXiv preprint arXiv:2512.10286},
year = {2025}
}
备注
Project Page: https://uknowsth.github.io/ShotDirector/