中文

NAS-NeRF:面向神经辐射场的生成式神经架构搜索

计算机视觉与模式识别 2023-12-12 v3 人工智能 机器学习

摘要

神经辐射场(NeRF)可实现高质量新视角合成,但其高计算复杂度限制了可部署性。尽管现有基于神经的方法力求高效,它们无论场景复杂度如何都使用一刀切的架构。同一架构对于简单场景可能过大,对复杂场景却不足。因此,需要动态优化 NeRF 的神经网络组件,以在计算复杂度与合成质量特定目标间取得平衡。我们提出 NAS-NeRF,一种生成式神经架构搜索策略,通过平衡架构复杂度与目标合成质量指标,生成紧凑且场景专用的 NeRF 架构。我们的方法纳入对目标指标与预算的约束,以引导搜索朝向为每个场景定制的架构。在 Blender 合成数据集上的实验表明,所提 NAS-NeRF 可生成比基线 NeRF 小至多 5.74×\times、FLOPs 少 4.19×\times、在 GPU 上快 1.93×\times 的架构,且不损失 SSIM。此外,我们展示 NAS-NeRF 还能实现比基线 NeRF 小至多 23×\times、FLOPs 少 22×\times、快 4.7×\times 的架构,且仅带来 5.3% 的平均 SSIM 下降。我们的源代码也已公开于 https://saeejithnair.github.io/NAS-NeRF。

关键词

引用

@article{arxiv.2309.14293,
  title  = {NAS-NeRF: Generative Neural Architecture Search for Neural Radiance Fields},
  author = {Saeejith Nair and Yuhao Chen and Mohammad Javad Shafiee and Alexander Wong},
  journal= {arXiv preprint arXiv:2309.14293},
  year   = {2023}
}

备注

8 pages