VERTIGO:用于电影摄影机轨迹生成的视觉偏好优化
计算机视觉与模式识别
2026-04-29 v3 人工智能
摘要
电影摄影机控制依赖于导演与摄影师之间的紧密反馈回路,摄影机运动和构图不断被审阅和细化。最近的生成式摄影机系统能够产生多样化的文本条件轨迹,但缺乏这种“导演在环中”且对 shot 是否具有视觉吸引力缺乏明确监督,导致 in-distribution 摄影机运动但构图差、人物出画以及不可取的视觉审美。本文提出了 VERTIGO,即摄影机轨迹生成器的视觉偏好优化框架。该框架利用实时图形引擎(Unity)渲染生成摄影机运动的 2D 视觉预览。随后, cinematically fine-tuned 视觉-语言模型通过我们提出的循环语义相似性机制对这些预览进行评分,该机制将渲染结果与文本提示对齐。这一过程为 Direct Preference Optimization(DPO)后训练提供视觉偏好信号。在 Unity 渲染和基于扩散的 Camera-to-Video 管道的定量评估和用户研究中,我们显示 VERTIGO 在条件遵从性、构图质量和感知真实性方面均实现了一致的提升。值得注意的是,VERTIGO 将人物出画率从 38% 降低至接近 0%,同时保持了摄影机运动的几何保真度。用户研究进一步表明, VERTIGO 在构图、一致性、提示遵从性和审美质量方面均优于基线方法,确认了我们的视觉偏好后训练带来的感知优势。
引用
@article{arxiv.2604.02467,
title = {VERTIGO: Visual Preference Optimization for Cinematic Camera Trajectory Generation},
author = {Mengtian Li and Yuwei Lu and Feifei Li and Chenqi Gan and Zhifeng Xie and Xi Wang},
journal= {arXiv preprint arXiv:2604.02467},
year = {2026}
}
备注
28 pages, 10 figures