RENI++：一种旋转等变、尺度不变的自然光照先验
计算机视觉与模式识别
2023-11-17 v1
摘要
逆渲染是一个不适定问题。先前工作试图通过关注物体或场景形状与外观的先验来解决此问题。本工作中，我们转而关注自然光照的先验。当前方法依赖球谐光照或其他通用表示，且至多对参数采用简化先验。这导致在逆设定下光照条件的表达能力受限，尤其在考虑镜面反射时。我们提出了一种基于变分自解码器与 transformer 解码器的条件神经场表示。我们扩展 Vector Neurons 以将等变性直接构建于架构中，并利用来自深度估计的尺度不变损失函数洞察，实现了高动态范围（HDR）图像的准确表示。结果是一个紧凑的、旋转等变的 HDR 神经光照模型，能够捕捉自然环境贴图中的复杂高频特征。我们在精选的 1.6K 张自然场景 HDR 环境贴图数据集上训练模型，将其与传统表示比较，展示了其在逆渲染任务中的适用性，并实现了从部分观测完成环境贴图。我们在 https://github.com/JADGardner/ns_reni 分享了我们的 PyTorch 实现、数据集与训练模型。
引用
@article{arxiv.2311.09361,
title = {RENI++ A Rotation-Equivariant, Scale-Invariant, Natural Illumination Prior},
author = {James A. D. Gardner and Bernhard Egger and William A. P. Smith},
journal= {arXiv preprint arXiv:2311.09361},
year = {2023}
}
备注
Project Repo - https://github.com/JADGardner/ns_reni. arXiv admin note: substantial text overlap with arXiv:2206.03858