LightMotion：一种用于视频生成中模拟摄像机运动的轻量免微调方法

现有的摄像机运动控制视频生成方法在微调和推理中面临计算瓶颈。本文提出了 LightMotion，一种用于在视频生成中模拟摄像机运动的轻量且免微调的方法。它在潜空间中操作，消除了额外的微调、图像修复和深度估计，使其比现有方法更为精简。本文的工作包括： 潜空间置换操作有效地模拟了平移、缩放和旋转等各种摄像机运动。 潜空间重采样策略结合了背景感知采样和跨帧对齐，以在保持帧间连贯性的同时准确填充新视角。 我们的深入分析表明，置换和重采样会导致潜空间中的 SNR 偏移，从而导致生成质量下降。为了解决这个问题，我们提出了潜空间校正，在去噪过程中重新引入噪声以缓解 SNR 偏移并提升视频生成质量。详尽的实验表明，我们的 LightMotion 在定量和定性上均优于现有方法。