面向Instant-NGP-based NeRF的压缩极限探索
计算机视觉与模式识别
2024-06-07 v1
摘要
近年来，神经光场(NeRF)在表示3D场景方面展现出惊人的能力。为加速渲染过程，人们引入了可学习的显式表示与隐式NeRF表示相结合，但这会导致较大的存储空间需求。本文提出Context-based NeRF Compression(CNC)框架，利用高度高效的上下文模型提供存储友好的NeRF表示。具体而言，我们挖掘了层级内和维度内的上下文依赖关系，以实现信息熵的降低。此外，我们利用哈希碰撞和占用网格作为强先验知识，以获得更好的上下文建模。鉴于目前尚无人针对NeRF压缩构建并利用上下文模型，我们是首次实现此目标。在合成NeRF和Tanks and Temples数据集上，我们实现了相对于基线Instant-NGP的100倍和70倍大小压缩，并提升了保真度。相对于当前最好的NeRF压缩方法BiRF，我们实现了86.7%和82.3%的存储空间压缩。我们的代码已公开：https://github.com/YihangChen-ee/CNC。
引用
@article{arxiv.2406.04101,
title = {How Far Can We Compress Instant-NGP-Based NeRF?},
author = {Yihang Chen and Qianyi Wu and Mehrtash Harandi and Jianfei Cai},
journal= {arXiv preprint arXiv:2406.04101},
year = {2024}
}
备注
Project Page: https://yihangchen-ee.github.io/project_cnc/ Code: https://github.com/yihangchen-ee/cnc/. We further propose a 3DGS compression method HAC, which is based on CNC: https://yihangchen-ee.github.io/project_hac/