VaxNeRF：重访经典以实现体素加速的神经辐射场
计算机视觉与模式识别
2021-11-29 v1
摘要
神经辐射场（NeRF）是数据驱动 3D 重建中的流行方法。鉴于其简洁性与高质量渲染，许多 NeRF 应用正在被开发。然而，NeRF 的一大局限是其速度慢。已有诸多尝试加速 NeRF 训练与推理，包括复杂的代码级优化与缓存、使用精细数据结构，以及通过多任务与元学习进行摊销。本工作中，我们通过 NeRF 之前的经典技术视角重访其基础构建块。我们提出体素加速 NeRF（VaxNeRF），将 NeRF 与可视外壳（visual hull）——一种仅需每图像二值前景-背景像素标签的经典 3D 重建技术——相集成。可视外壳可在约 10 秒内优化，能提供粗粒度内外场分离以省略 NeRF 中大量网络评估。我们在流行的 JaxNeRF 代码库上提供干净的纯 Python、基于 JAX 的实现，仅含约 30 行代码改动与一个模块化可视外壳子程序，并在高性能 JaxNeRF 基线上实现约 2-8 倍更快学习，且渲染质量零退化。在充足计算下，这有效将完整 NeRF 训练从数小时降至 30 分钟。我们希望 VaxNeRF——经典技术与（可谓取代它的）深度方法的审慎结合——能以其简洁性、可移植性与可靠性能提升赋能并加速新 NeRF 扩展与应用。代码见 https://github.com/naruya/VaxNeRF 。
引用
@article{arxiv.2111.13112,
title = {VaxNeRF: Revisiting the Classic for Voxel-Accelerated Neural Radiance Field},
author = {Naruya Kondo and Yuya Ikeda and Andrea Tagliasacchi and Yutaka Matsuo and Yoichi Ochiai and Shixiang Shane Gu},
journal= {arXiv preprint arXiv:2111.13112},
year = {2021}
}