基于轨迹注意力的精细视频运动控制

视频生成的最新进展很大程度上由视频扩散模型推动，而相机运动控制正在成为创建定制化视觉内容的关键挑战。本文引入了轨迹注意力（trajectory attention），一种新方法，通过对可用像素轨迹进行注意力处理，以实现精细的相机运动控制。与已有方法常产生不够精确的输出或忽略时间相关性不同，我们的方法具有更强的归纳偏置，能够无缝地将轨迹信息注入视频生成过程。重要的是，我们将轨迹注意力建模为传统时间注意力的一个辅助分支。这种设计使原始时间注意力与轨迹注意力能够协同工作，确保精确的运动控制和新的内容生成能力，这在轨迹仅部分可用时至关重要。实验表明，在图像和视频的相机运动控制任务上，我们的方法在精度和长程一致性方面实现了显著提升，同时保持了高质量的生成。此外，我们展示了该方法可以扩展到其他视频运动控制任务，如以首帧为导向的视频编辑，在该任务中它在保持大范围空间和时间内内容一致性方面表现出色。