DINER：深度感知的基于图像的神经辐射场
计算机视觉与模式识别
2023-04-03 v2
摘要
我们提出了深度感知的基于图像的神经辐射场。给定一组稀疏的 RGB 输入视图，我们预测深度和特征图，以指导体积场景表示的重建，从而允许我们在新视图下渲染 3D 对象。具体而言，我们提出了将深度信息纳入特征融合和高效场景采样的新技术。与之前的 SOTA 相比，DINER 实现了更高的合成质量，并且能够处理具有更大视差的输入视图。这使我们能够更完整地捕获场景，而无需改变捕获硬件要求，并最终在新视图合成期间实现更大的视角变化。我们通过合成新视图来评估我们的方法，包括人类头部和一般物体，观察到与之前的 SOTA 相比，定性结果显著改善且感知指标提升。该代码出于研究目的公开提供。
引用
@article{arxiv.2211.16630,
title = {DINER: Depth-aware Image-based NEural Radiance fields},
author = {Malte Prinzler and Otmar Hilliges and Justus Thies},
journal= {arXiv preprint arXiv:2211.16630},
year = {2023}
}
备注
Website: https://malteprinzler.github.io/projects/diner/diner.html ; Video: https://www.youtube.com/watch?v=iI_fpjY5k8Y&t=1s