基于连续布朗桥扩散的帧插值

最近的视频帧插值 (VFI) 工作尝试将 VFI 表述为基于扩散的条件图像生成问题, 给定随机噪声和相邻帧合成中间帧。由于视频分辨率相对较高, 采用潜在扩散模型 (LDM) 作为条件生成模型, 其中自动编码器将图像压缩为扩散的潜在表示, 然后从这些潜在表示重构图像。这种表述提出了一个关键挑战: VFI 期望输出在给定模型运行多次时, 与地面中间帧确定性相等, 但 LDM 在多次运行时随机生成多样化的不同图像。产生多样性的原因是 LDM 中生成潜在表示的累积方差较大。这使得采样轨迹随机, 导致生成多样化而非确定性。为解决此问题, 我们提出了独特的解决方案: Frame Interpolation with Consecutive Brownian Bridge Diffusion。具体而言, 我们提出连续布朗桥扩散, 其以确定性初始值为输入, 从而显著减小生成潜在表示的累积方差。我们的实验表明, 本方法可随自动编码器改进而获得提升, 在 VFI 中实现最先进的性能, 为进一步提升留下了强大的潜力。