与光子共舞：渲染传播光的新颖视角

我们提出了一种成像和神经渲染技术，旨在从新颖的移动相机视角合成光在场景中传播的视频。我们的方法依赖于一种新的超快成像设置，以捕获首个具有皮秒级时间分辨率的多视角视频数据集。结合该数据集，我们引入了一种基于瞬态场的高效神经体积渲染框架。该场定义为从3D点和2D方向到高维离散时间信号的映射，该信号表示超快时间尺度上的时变辐射度。使用瞬态场进行渲染自然地考虑了光速有限带来的效应，包括由光传播到相机的延迟引起的视角相关外观变化。我们渲染了一系列复杂效果，包括散射、镜面反射、折射和衍射。此外，我们展示了使用时间扭曲程序去除视角相关的传播延迟、渲染相对论效应以及合成光传输的直接和全局分量的视频。