基于视频的伪泛化动态视角合成

从新视角渲染单目视频中观测到的场景是一个具有挑战性的问题。对于静态场景，学界既研究了针对每个测试场景优化的场景特定优化技术，也研究了仅对测试场景执行深度网络前向传播的泛化技术。相比之下，对于动态场景，虽存在场景特定优化技术，但据我们所知，目前尚无从给定单目视频进行动态新视角合成的泛化方法。为回答当今是否可能实现从单目视频的泛化动态新视角合成，我们基于现有技术建立分析框架并朝泛化方法努力。我们发现无需场景特定外观优化的伪泛化过程是可行的，但需要具备几何与时间一致的深度估计。尽管没有场景特定外观优化，该伪泛化方法仍优于部分场景特定方法。