GimbalDiffusion：面向视频生成的引力感知相机控制
计算机视觉与模式识别
2026-04-06 v2
摘要
文本到视频生成的最新进展已经实现了显著的逼真度，但对相机运动和方向的精细控制仍然难以实现，尤其是在极端轨迹（例如，180 度转弯，或直接向上或向下看）下。现有方法通常使用相对或模糊的表示来编码相机轨迹，限制了精确的几何控制，并且对大幅旋转的支持有限。我们引入了 GimbalDiffusion，这是一个框架，它使用重力作为全局参考，实现了基于物理世界坐标的相机控制。我们的方法不是描述相对于前一帧的运动，而是在绝对坐标系中定义相机轨迹，从而允许对相机参数进行准确、可解释的控制。使用全景 360 度视频进行训练，我们覆盖了所有可能视点的完整球体，包括超出常规视频数据分布的极端俯仰和滚转组合。为了改进相机引导，我们引入了零俯仰条件化（null-pitch conditioning），这是一种防止模型在存在冲突提示内容（例如，当相机指向天空时生成草地）时覆盖相机规格的策略。最后，我们提出了新的基准来评估引力感知的相机控制视频生成，评估模型生成极端相机角度的能力并量化其输入提示纠缠。
引用
@article{arxiv.2512.09112,
title = {GimbalDiffusion: Gravity-Aware Camera Control for Video Generation},
author = {Frédéric Fortier-Chouinard and Yannick Hold-Geoffroy and Valentin Deschaintre and Matheus Gadelha and Jean-François Lalonde},
journal= {arXiv preprint arXiv:2512.09112},
year = {2026}
}
备注
Project page: https://lvsn.github.io/GimbalDiffusion/