极致紧凑的全视场神经辐射场：150KB实时渲染
计算机视觉与模式识别
2024-09-25 v1
摘要
本论文旨在将3D场景编码为极其紧凑的表示，从2D图像中实现其传输、解码和跨平台实时渲染。尽管NeRF和Gaussian Splats在各领域取得了进展，但其大型模型规模和专业化渲染器使其难以像图像一样轻松分发自由视点3D内容。为此，我们设计了一种新型3D表示，将全视场函数编码为正弦函数索引的稠密体积。该方法促进了不同位置之间的feature sharing，显著改善了相对于传统空间体素的紧凑性。稠密3D特征网格的内存占用可通过空间分解技术进一步降低。该设计结合了空间哈希函数和体素分解的优势，使每个3D场景的模型大小可达150KB。此外，PPNG具备轻量级渲染管道，仅需300行代码，将其表示解码为标准GL纹理和片段着色器，实现在无需额外依赖的情况下，使用传统GL管道进行实时渲染，确保跨平台的普适兼容性和效率。
引用
@article{arxiv.2409.15689,
title = {Plenoptic PNG: Real-Time Neural Radiance Fields in 150 KB},
author = {Jae Yong Lee and Yuqun Wu and Chuhang Zou and Derek Hoiem and Shenlong Wang},
journal= {arXiv preprint arXiv:2409.15689},
year = {2024}
}