JacobiNeRF：利用互信息梯度塑造 NeRF
计算机视觉与模式识别
2023-04-04 v1
摘要
我们提出一种方法，训练神经辐射场（NeRF）不仅编码场景外观，还编码场景点、区域或实体之间的语义关联——旨在捕捉它们的相互协变模式。与传统一阶光度重建目标不同，我们的方法显式正则化学习动态以对齐高度相关实体的雅可比矩阵，这在随机场景扰动下被证明可最大化它们之间的互信息。通过关注这一二阶信息，我们可以塑造一个 NeRF，使其在网络权重沿单个实体、区域甚至一个点的梯度被 delta 改变时，表达具有语义意义的协同关系。为展示该互信息建模的优势，我们利用由我们的塑造所涌现的场景实体协调行为，执行语义与实例分割的标签传播。实验表明，与无互信息塑造的 NeRF 相比，JacobiNeRF 在 2D 像素与 3D 点间传播标注更高效，尤其在极稀疏标注情形下——从而减轻标注负担。同一机制还可进一步用于实体选择或场景修改。
引用
@article{arxiv.2304.00341,
title = {JacobiNeRF: NeRF Shaping with Mutual Information Gradients},
author = {Xiaomeng Xu and Yanchao Yang and Kaichun Mo and Boxiao Pan and Li Yi and Leonidas Guibas},
journal= {arXiv preprint arXiv:2304.00341},
year = {2023}
}