AutoRF：从单视图观测学习三维物体辐射场
计算机视觉与模式识别
2022-04-08 v1
摘要
我们引入了 AutoRF——一种学习神经三维物体表示的新方法，其中训练集中的每个物体仅由单一视图观测。这一设置与大多数现有工作形成鲜明对比，后者利用同一物体的多个视图、在训练期间采用显式先验或要求像素级完美标注。为解决这一具有挑战性的设置，我们提出学习一种归一化的、以物体为中心的表示，其嵌入描述并解耦形状、外观和姿态。每个编码提供关于感兴趣物体的、具有良好泛化能力的紧凑信息，该信息可一次性解码到新的目标视图，从而实现新视角合成。我们通过在测试时优化形状和外观编码，使表示紧密拟合输入图像，进一步提高了重建质量。在一系列实验中，我们表明我们的方法能很好地泛化到未见过的物体，甚至跨越不同的具有挑战性的真实世界街景数据集，如 nuScenes、KITTI 和 Mapillary Metropolis。
引用
@article{arxiv.2204.03593,
title = {AutoRF: Learning 3D Object Radiance Fields from Single View Observations},
author = {Norman Müller and Andrea Simonelli and Lorenzo Porzi and Samuel Rota Bulò and Matthias Nießner and Peter Kontschieder},
journal= {arXiv preprint arXiv:2204.03593},
year = {2022}
}
备注
CVPR 2022. Project page: https://sirwyver.github.io/AutoRF/