沙发后面是什么？用于 3D 场景重建的有向射线距离函数 (DRDF)
计算机视觉与模式识别
2022-04-05 v2 图形学
摘要
我们提出了一种从单张未见图像进行完整 3D 场景重建的方法。我们在真实场景的非封闭扫描数据集上进行训练。我们的方法预测距离函数，因为这类函数在处理复杂拓扑和大型空间方面已展现出潜力。我们识别并分析了预测此类图像条件距离函数的两个关键挑战，这些挑战阻碍了它们在真实 3D 场景数据上的成功。首先，我们表明从图像预测常规场景距离需要对大感受野进行推理。其次，我们解析地表明，训练用于预测这些距离函数的网络的最优输出并不满足所有距离函数属性。我们提出了一种替代的距离函数，即有向射线距离函数 (DRDF)，以解决这两个挑战。我们表明，训练用于预测 DRDF 的深度网络在 Matterport3D、3DFront 和 ScanNet 上的单图像 3D 重建中，在定量和定性方面均优于所有其他方法。
引用
@article{arxiv.2112.04481,
title = {What's Behind the Couch? Directed Ray Distance Functions (DRDF) for 3D Scene Reconstruction},
author = {Nilesh Kulkarni and Justin Johnson and David F. Fouhey},
journal= {arXiv preprint arXiv:2112.04481},
year = {2022}
}
备注
Updated illustrations for method section. Project Page see https://nileshkulkarni.github.io/scene_drdf