GenDoP：基于导演摄影师专业知识的自回归相机轨迹生成
计算机视觉与模式识别
2025-04-11 v2
摘要
相机轨迹设计在视频制作中发挥着关键作用，作为传递导演意图和提升视觉叙事能力的基本工具。在电影摄影中，导演摄影师会精心构思相机运动，以实现富有表现力和有意图的构图。然而，现有的相机轨迹生成方法仍受限：传统方法依赖几何优化或手工程序化系统，而近期基于学习的方法往往继承结构偏见或缺乏文本对齐，限制了创意合成。本文引入了受导演摄影师专业知识启发的自回归模型，用于生成具有艺术性和表达性的相机轨迹。我们首先引入DataDoP，一个包含29K个真实世界镜头的大规模多模态数据集，涵盖自由运动的相机轨迹、深度图以及详细描述特定运动、场景互动和导演意图的文本。得益于这一全面且多样化的数据库，我们进一步训练了一个自回归、仅解码器的Transformer，基于文本指导和RGBD输入生成高质量、上下文感知的相机运动，命名为GenDoP。大量实验表明，与现有方法相比，GenDoP在可控性、细粒度轨迹调整和运动稳定性方面表现更佳。我们认为本方法为基于学习的摄影技术树立了新标准，为未来的相机控制和电影制作进步指明了道路。我们的项目网站：https://kszpxxzmc.github.io/GenDoP/。
引用
@article{arxiv.2504.07083,
title = {GenDoP: Auto-regressive Camera Trajectory Generation as a Director of Photography},
author = {Mengchen Zhang and Tong Wu and Jing Tan and Ziwei Liu and Gordon Wetzstein and Dahua Lin},
journal= {arXiv preprint arXiv:2504.07083},
year = {2025}
}