IntrinsicNeRF：学习本征神经辐射场以实现可编辑新视角合成
计算机视觉与模式识别
2023-08-30 v3 图形学
摘要
现有的逆渲染结合神经渲染方法只能对特定物体场景执行可编辑新视角合成，而我们提出了一种称为 IntrinsicNeRF 的本征神经辐射场，其将本征分解引入基于 NeRF 的神经渲染方法中，并可将其应用扩展到房间尺度场景。由于本征分解本质上是一个欠约束的逆问题，我们提出了一种新颖的距离感知点采样与自适应反射率迭代聚类优化方法，使 IntrinsicNeRF 在传统本征分解约束下能够以无监督方式训练，从而获得多视角一致的本征分解结果。为应对场景中相似反射率的相邻不同实例被错误聚类在一起的问题，我们进一步提出了一种由粗到细优化的层次聚类方法，以获得快速的层次索引表示。它支持引人注目的实时增强应用，如重新着色与光照变化。在物体特定/房间尺度场景以及合成/真实数据上的大量实验与编辑样本表明，即便对于具有挑战性的序列，我们也能获得一致的本征分解结果和高保真的新视角合成。
引用
@article{arxiv.2210.00647,
title = {IntrinsicNeRF: Learning Intrinsic Neural Radiance Fields for Editable Novel View Synthesis},
author = {Weicai Ye and Shuo Chen and Chong Bao and Hujun Bao and Marc Pollefeys and Zhaopeng Cui and Guofeng Zhang},
journal= {arXiv preprint arXiv:2210.00647},
year = {2023}
}
备注
Accepted to ICCV2023, Project webpage: https://zju3dv.github.io/intrinsic_nerf/, code: https://github.com/zju3dv/IntrinsicNeRF