VQ-NeRF：基于矢量量化的神经反射场分解与编辑
计算机视觉与模式识别
2025-04-10 v3 图形学
机器学习
摘要
我们提出VQ-NeRF，一种融合矢量量化（VQ）以分解并编辑3D场景中反射场的双分支神经网络模型。传统神经反射场仅使用连续表示建模3D场景，尽管现实中物体通常由离散材料组成。这种缺乏离散化的做法会导致含噪的材料分解与复杂的材料编辑。为克服这些局限，我们的模型由连续分支与离散分支构成。连续分支遵循传统流程预测分解材料，而离散分支使用VQ机制将连续材料量化为独立材料。通过材料离散化，我们的模型可降低分解过程噪声并生成离散材料分割图。通过点击分割结果对应区域，可轻松选中特定材料进行进一步编辑。此外，我们提出基于dropout的VQ码本排序策略以预测场景中材料数量，减少材料分割过程的冗余。为提升易用性，我们还开发了交互界面以辅助材料编辑。我们在计算机生成与真实场景上评估模型，证明了其优越性能。据我们所知，我们的模型是首个实现3D场景离散材料编辑的模型。
引用
@article{arxiv.2310.11864,
title = {VQ-NeRF: Neural Reflectance Decomposition and Editing with Vector Quantization},
author = {Hongliang Zhong and Jingbo Zhang and Jing Liao},
journal= {arXiv preprint arXiv:2310.11864},
year = {2025}
}
备注
Accepted by TVCG. Project Page: https://jtbzhl.github.io/VQ-NeRF.github.io/