形变与学习：车辆及其他物体的新视角生成

在本工作中，我们提出了一种新颖的自监督半参数方法，用于从单张单目图像出发合成车辆的新视角。与参数化（即完全基于学习）的方法不同，我们展示了关于物体和三维世界的先验几何知识如何成功集成到基于深度学习的图像生成框架中。由于该几何组件不被学习，我们称我们的方法为半参数方法。具体而言，我们利用人造物体的对称性和分段平面性，将丰富的先验视觉信息整合到新视角合成过程中。随后训练一个图像补全网络（ICN）以从该几何引导出发生成逼真图像。这种参数化与非参数化组件之间的精心融合使我们能够：i) 在真实场景中进行操作，ii) 保留纹理等高频视觉信息，iii) 处理输入的真实任意三维旋转平移，以及 iv) 将形状迁移到完全不同的三维模型。最终，我们展示了我们的方法可以轻松结合合成数据，并扩展到具有完全不同拓扑的其他刚性物体，即使在存在凹结构和孔的情况下（例如椅子）。针对最先进方法的综合实验分析从定量和感知角度均显示了我们方法的有效性。补充材料、动画结果、代码和数据可在 https://github.com/ndrplz/semiparametric 获取。