自由式运动控制：视频生成中相机与物体6D姿态的控制

控制生成视频中动态物体和相机的运动是一项有意义却具挑战的任务。由于缺乏包含全面6D姿态标注的数据集，现有的文本到视频方法无法以3D方式同时控制相机和物体的运动，导致生成内容的可控性受限。为此，我们引入一个用于自由式运动控制的合成数据集（SynFMC）。所提出的SynFMC数据集包含多样化的物体和环境类别，涵盖根据特定规则设计的各种运动模式，模拟常见及复杂的真实场景。数据集中的完整6D姿态信息有助于模型学习在视频中 disentangle 物体与相机的运动效应。为实现精确的3D-aware运动控制，我们进一步提出一种基于SynFMC训练的方法，称为自由式运动控制（FMC）。FMC能够独立或同时控制物体和相机的6D姿态，生成高保真视频。此外，该方法与各种主流文本到图像（T2I）模型兼容，可实现不同内容风格的生成。大量实验表明，所提方法在多种场景下均优于先前方法。