移动设备上的实时神经光场

神经渲染场（NeRF）近期的努力已利用隐式神经表示来表征 3D 场景，在 novel view synthesis（新视角合成）上展示了令人印象深刻的结果。由于体渲染过程，NeRF 的推理速度极慢，限制了在移动设备等资源受限硬件上利用 NeRF 的应用场景。已有许多工作致力于降低运行 NeRF 模型的延迟。然而，它们大多仍需要高端 GPU 加速或额外存储内存，而这些在移动设备上均不可用。另一新兴方向利用神经光场（NeLF）加速，因为只需在一条射线上进行一次前向传播即可预测像素颜色。尽管如此，为达到与 NeRF 相似的渲染质量，NeLF 中的网络被设计为计算密集，对移动设备不友好。在这项工作中，我们提出一个在移动设备上实时运行的用于神经渲染的高效网络。我们遵循 NeLF 的设置来训练我们的网络。与现有工作不同，我们引入了一种在移动设备上以低延迟和小体积高效运行的新颖网络架构，即相比 MobileNeRF 节省 $15\times \sim 24\times$ 存储。我们的模型在移动设备上对合成和真实世界场景均实现高分辨率生成，同时保持实时推理，例如渲染一张 $1008\times756$ 的真实 3D 场景图像在 iPhone 13 上需 $18.04$ms。此外，我们取得了与 NeRF 相似的图像质量，并优于 MobileNeRF（在真实世界前向-facing 数据集上 PSNR $26.15$ 对比 $25.91$）。