LANe：用于组合场景合成的光照感知神经场
计算机视觉与模式识别
2023-04-07 v1
摘要
近期，神经场在表示和渲染 3D 场景方面取得了巨大成功。然而，大多数最先进的隐式表示将静态或动态场景作为一个整体进行建模，仅有微小变化。现有的关于学习解耦世界神经场和物体神经场的工作，没有考虑以光照感知的方式将物体组合到不同世界神经场中的问题。我们提出了光照感知神经场 (Lighting-Aware Neural Field, LANe)，以物理一致的方式组合合成驾驶场景。具体而言，我们学习一种将静态背景和瞬态元素解耦为 world-NeRF 和特定类别 object-NeRFs 的场景表示，以允许场景中多个物体的组合合成。此外，我们明确设计了世界模型和物体模型以处理光照变化，这使我们能够将物体组合到具有空间变化光照的场景中。这是通过构建场景的光场并将其与学习到的着色器结合使用以调制 object NeRFs 的外观来实现的。我们在使用 CARLA 模拟器渲染的具有不同光照条件的合成数据集，以及在一天中不同时间收集的汽车真实世界新数据集上展示了我们模型的性能。我们的方法表明，在具有挑战性的数据集设置上，它优于最先进的组合场景合成方法，其方式是将从一个场景学习到的 object-NeRFs 组合到一个完全不同的场景中，同时仍然尊重新场景中的光照变化。更多结果请访问我们的项目网站 https://lane-composition.github.io/。
引用
@article{arxiv.2304.03280,
title = {LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis},
author = {Akshay Krishnan and Amit Raj and Xianling Zhang and Alexandra Carlson and Nathan Tseng and Sandhya Sridhar and Nikita Jaipuria and James Hays},
journal= {arXiv preprint arXiv:2304.03280},
year = {2023}
}
备注
Project website: https://lane-composition.github.io