HollowNeRF：通过可训练碰撞缓解对基于哈希网格的 NeRF 进行剪枝
计算机视觉与模式识别
2023-08-22 v1
摘要
神经辐射场（NeRF）已引起广泛关注，近期工作如 Instant-NGP 通过结合基于哈希网格的位置编码与神经网络加速了 NeRF 的训练与评估。然而，有效利用 3D 场景的空间稀疏性仍具挑战。为剔除特征网格中不必要的区域，现有方案依赖物体形状先验知识，或在训练期间通过重复模型评估周期性估计物体形状，这些方法代价高昂且浪费。为解决此问题，我们提出 HollowNeRF，一种针对基于哈希网格的 NeRF 的新型压缩方案，可在训练阶段自动稀疏化特征网格。HollowNeRF 不直接压缩稠密特征，而是训练一个粗粒度 3D 显著性掩码以引导高效特征剪枝，并采用交替方向乘子法（ADMM）剪枝器在训练期间稀疏化该 3D 显著性掩码。通过利用 3D 场景中的稀疏性重新分配哈希冲突，HollowNeRF 在使用可比最先进方案一小部分参数的同时提升了渲染质量，从而获得更优的代价-精度权衡。我们的方法在仅使用 31% 参数的情况下提供了与 Instant-NGP 相当的渲染质量。此外，我们的方案在使用仅 56% 参数时可实现高达 1dB 的 PSNR 精度提升。
引用
@article{arxiv.2308.10122,
title = {HollowNeRF: Pruning Hashgrid-Based NeRFs with Trainable Collision Mitigation},
author = {Xiufeng Xie and Riccardo Gherardi and Zhihong Pan and Stephen Huang},
journal= {arXiv preprint arXiv:2308.10122},
year = {2023}
}
备注
Accepted to ICCV 2023