桥接隐式与显式几何变换的单图像视角合成

从单幅图像创建新视角随着先进自回归模型的发展取得了巨大进步，因为不可见区域必须从可见场景内容中推断出来。尽管近期方法能生成高质量新视角，但仅使用一种显式或隐式 3D 几何进行合成，会在我们称之为“跷跷板”问题的两个目标间存在权衡：1）保留重投影内容；2）补全逼真的视场外区域。此外，自回归模型需要可观的计算成本。本文提出一种单图像视角合成框架，在利用高效非自回归模型的同时缓解跷跷板问题。受显式方法良好保留重投影像素、隐式方法补全逼真视场外区域这一特性启发，我们引入一种损失函数以互补两种渲染器。我们的损失函数促使显式特征改善隐式特征的投影区域，而隐式特征改善显式特征的视场外区域。借助所提架构与损失函数，我们能缓解跷跷板问题，优于基于自回归的当前最优方法，并以约快 $\approx$100 倍的速度生成图像。我们在 RealEstate10K 和 ACID 数据集上通过实验验证了方法的效率与有效性。