用于虚拟制作的可置换高斯溅射与图像基照明
计算机视觉与模式识别
2026-05-12 v1 图形学
多媒体
图像与视频处理
摘要
虚拟制作(VP)使用 LED 墙提供背景 imagery 和图像基照明。虽然实现了现场合成，但将照明与背景及场景外观耦合，从而限制了后期编辑的灵活性。此外，逆渲染通常依赖基于物理的渲染来估计 3D 几何和照明，使用环境图。然而，这些图通常分辨率较低，且假设远场照明。在 VP 场景中，近场且高分辨率的图像基照明可能导致误差，并在编辑时引入复杂性。为此，我们提出面向 VP 的框架进行 3D 重建和置换照明，使用高斯溅射。该方法利用已知的背景 imagery 来条件化置换照明过程。这避免了依赖环境图，并将合成简化为背景 imagery 编辑任务。为实现该框架，我们引入一种过程(及相关数据集)，在不同背景内容和照明条件下捕获真实 VP 场景。此数据用于将 3D 场景分解为固定外观和可变照明组件。可变照明过程通过为每个原始素体参数化 UV 坐标、强度值和分辨率修正符来模拟光传输。利用多级纹理(mipmaps)，这些直接在图像空间中采样背景纹理——在不进行基于物理的渲染的情况下，隐式地捕获反射和折射。结合固定外观组件，我们能够使用高斯溅射光栅化器渲染置换后的场景。与基线方法相比，我们的方法实现了更高质量的 3D 重建和可控置换照明。该方法高效(<3 GB RAM, <5 GB VRAM, <2小时训练, ~35 FPS)，支持渲染有用的任意输出变量，包括深度、照明强度、照明颜色和未加灯光渲染。
引用
@article{arxiv.2605.09024,
title = {Relightable Gaussian Splatting for Virtual Production Using Image-Based Illumination},
author = {Adrian Azzarelli and Nantheera Anantrasirichai and James Pollock and David R. Bull},
journal= {arXiv preprint arXiv:2605.09024},
year = {2026}
}