基于滤波反演的部分视图物体视角合成

我们提出滤波反演（FINV），一种从一张或少量部分视图预测可渲染三维物体表示的学习框架与优化过程。FINV解决了从部分观测合成物体新视角的挑战，涵盖物体未完全在视场内、部分被遮挡或仅从相似视角观测的情况。为此，FINV通过训练三维生成模型学习形状先验。推理时，给定新颖真实世界物体的一或多个视图，FINV首先从多个初始种子反演生成模型，为该物体找到一组潜码。在维持潜码集合的同时，FINV在接收每个新观测后对其滤波并重采样，类似于粒子滤波。随后生成器针对每个潜码在可用视图上微调，以适应新颖物体。我们展示FINV成功合成真实世界物体（如椅子、桌子、汽车）的新视角，即便生成先验仅在合成物体上训练。解决仿真到真实问题的能力使FINV可用于无真实世界数据集的物体类别。FINV在多个真实世界数据集上取得最先进性能，从部分与稀疏视图恢复物体形状与纹理，对遮挡鲁棒，并能用更多观测逐步改进其表示。