VQ-NeRF：向量量化增强隐式神经表示
计算机视觉与模式识别
2023-10-24 v1 人工智能
摘要
隐式神经表示的最新进展促进了高保真表面重建与逼真新视角合成。然而，这些方法固有的计算复杂性构成了重大障碍，限制了实际应用中的可达帧率与分辨率。针对此困境，我们提出 VQ-NeRF，一种通过向量量化增强隐式神经表示的高效且有效的流程。我们方法的核心在于将 NeRF 的采样空间降至较低分辨率，随后利用预训练的 VAE 解码器恢复至原始尺寸，从而有效缓解渲染过程中的采样时间瓶颈。尽管码本提供了代表性特征，但由于高压缩率，重建场景的精细纹理细节仍具挑战。为克服此限制，我们设计了一种创新的多尺度 NeRF 采样方案，在压缩与原始尺度上同时优化 NeRF 模型，以增强网络保留细节的能力。此外，我们引入语义损失函数以提升三维重建的几何保真度与语义一致性。大量实验证明了我们的模型在实现渲染质量与效率最优权衡上的有效性。在 DTU、BlendMVS 和 H3DS 数据集上的评估证实了方法的优越性能。
引用
@article{arxiv.2310.14487,
title = {VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations},
author = {Yiying Yang and Wen Liu and Fukun Yin and Xin Chen and Gang Yu and Jiayuan Fan and Tao Chen},
journal= {arXiv preprint arXiv:2310.14487},
year = {2023}
}
备注
Submitted to the 38th Annual AAAI Conference on Artificial Intelligence