NGP-RT：用于实时新视角合成的多级哈希特征与轻量注意力融合
计算机视觉与模式识别
2024-07-16 v1
摘要
本文提出了 NGP-RT，一种用于提高 Instant-NGP 渲染速度以实现实时新视角合成的 novel 方法。作为一种经典的 NeRF 方法，Instant-NGP 将隐式特征存储在多级网格或哈希表中，并应用浅层 MLP 将隐式特征转换为显式颜色和密度。虽然它实现了快速的训练速度，但在渲染速度方面仍有很大的提升空间，尤其是对于实时应用而言，因为需要对每个点执行 MLP 以完成隐式多级特征聚合。为解决这一挑战，我们的 proposed NGP-RT 显式存储颜色和密度作为哈希特征，并利用轻量注意力机制来消除哈希冲突，而不是使用计算密集型的 MLP。在渲染阶段，NGP-RT 将预计算的占用距离网格整合到光线marching 策略中，以指示最近占用体素的距离，从而减少marching points 和全局内存访问。实验结果表明，在具有挑战性的 Mip-NeRF360 数据集上，NGP-RT 的渲染质量优于以前的 NeRF 方法，在单张 Nvidia RTX 3090 GPU 上实现 108 fps 的 1080p 分辨率。我们的做法为需要高效高质量渲染的 NeRF 实时应用提供了前景。
引用
@article{arxiv.2407.10482,
title = {NGP-RT: Fusing Multi-Level Hash Features with Lightweight Attention for Real-Time Novel View Synthesis},
author = {Yubin Hu and Xiaoyang Guo and Yang Xiao and Jingwei Huang and Yong-Jin Liu},
journal= {arXiv preprint arXiv:2407.10482},
year = {2024}
}
备注
ECCV 2024