连续物体表示网络：无需目标视角监督的新视角合成
计算机视觉与模式识别
2020-10-26 v2
摘要
新视角合成（NVS）关注于从一张或多张输入图像在相机视角变换下合成视图。NVS 需要对 3D 物体结构和场景中未见部分进行显式推理以合成令人信服的结果。因此，当前方法通常依赖于使用真实 3D 模型或多张目标图像的监督训练。我们提出连续物体表示网络（CORN），一种条件架构，它编码输入图像的几何与外观并映射到 3D 一致的场景表示。我们通过将模型与神经渲染器结合，仅用每个物体两张源图像即可训练 CORN。CORN 的一个关键特征是它不需要真实 3D 模型或目标视角监督。尽管如此，CORN 在诸如新视角合成和单视角 3D 重建等挑战性任务上表现良好，并达到了与使用直接监督的 state-of-the-art 方法相当的性能。有关最新信息、数据和代码，请参见我们的项目页面：https://nicolaihaeni.github.io/corn/。
引用
@article{arxiv.2007.15627,
title = {Continuous Object Representation Networks: Novel View Synthesis without Target View Supervision},
author = {Nicolai Häni and Selim Engin and Jun-Jee Chao and Volkan Isler},
journal= {arXiv preprint arXiv:2007.15627},
year = {2020}
}
备注
To appear at Advances in Neural Information Processing Systems 33 (NeurIPS 2020)