将动态视图合成视为逆问题

在这项工作中，我们在免训练设置下，将单目视频的动态视图合成作为逆问题来解决。通过重新设计预训练视频扩散模型的噪声初始化阶段，我们能够在没有任何权重更新或辅助模块的情况下实现高保真动态视图合成。我们首先指出了由零终端信噪比 (SNR) 调度引起的确定性反演的根本障碍，并通过引入一种新颖的噪声表示（称为 K 阶递归噪声表示）来解决该问题。我们推导了该表示的闭式表达式，从而实现了 VAE 编码隐变量与 DDIM 反演隐变量之间精确且高效的对齐。为了合成由相机运动产生的新可见区域，我们引入了随机隐变量调制，在隐空间中执行感知可见性的采样以补全遮挡区域。综合实验表明，通过在噪声初始化阶段进行结构化的隐变量操作，可以有效地执行动态视图合成。