用于学习自然光照先验的旋转等变条件球面神经场
计算机视觉与模式识别
2022-10-17 v3
摘要
逆渲染是一个不适定问题。先前工作试图通过关注物体或场景形状与外观的先验来解决此问题。本工作中，我们转而关注自然光照的先验。现有方法依赖球谐光照或其他通用表示，且至多对参数采用简化先验。我们提出一种基于变分自解码器与 SIREN 网络的条件神经场表示，并扩展 Vector Neurons 将等变性直接构建入网络。借此，我们开发了旋转等变、高动态范围（HDR）神经光照模型，其紧凑且能表达自然环境贴图的复杂高频特征。在精选的 1.6K 自然场景 HDR 环境贴图数据集上训练模型，我们将其与传统表示比较，展示其对逆渲染任务的适用性，并呈现从部分观测完成环境贴图。PyTorch 实现、我们的数据集与训练模型见 jadgardner.github.io/RENI。
引用
@article{arxiv.2206.03858,
title = {Rotation-Equivariant Conditional Spherical Neural Fields for Learning a Natural Illumination Prior},
author = {James A. D. Gardner and Bernhard Egger and William A. P. Smith},
journal= {arXiv preprint arXiv:2206.03858},
year = {2022}
}
备注
NeurIPS 2022 - Project Website: jadgardner.github.io/RENI