Relit-LiVE：通过联合学习环境视频实现视频重照明
计算机视觉与模式识别
2026-05-08 v1
摘要
近期的研究进展表明，大规模视频扩散模型可以通过先将视频分解为内在场景表示，然后在新光照下进行前向渲染，从而被重新用作神经渲染器。尽管前景广阔，但这种范式从根本上依赖于准确的内在分解，这对于真实世界视频而言仍然高度不可靠，并且经常在重照明过程中导致外观失真、材质破损以及累积的时间伪影。在本研究中，我们提出了 Relit-LiVE，一种新颖的视频重照明框架，无需相机位姿先验即可产生物理一致且时间稳定的结果。我们的关键见解是在渲染过程中显式引入原始参考图像，使模型能够恢复在内在表示中不可避免地丢失或损坏的关键场景线索。此外，我们提出了一种新颖的环境视频预测公式，在单个扩散过程中同时生成重照明视频和与每个相机视点对齐的逐帧环境贴图。这种联合预测强制执行了强烈的几何-光照对齐，并自然支持动态光照和相机运动，在显著提高视频重照明物理一致性的同时，降低了对已知逐帧相机位姿的要求。大量实验表明，Relit-LiVE 在合成和真实世界基准测试中始终优于最先进的视频重照明和神经渲染方法。除重照明外，我们的框架自然支持广泛的下游应用，包括场景级渲染、材质编辑、物体插入和流媒体视频重照明。项目主页：https://github.com/zhuxing0/Relit-LiVE。
引用
@article{arxiv.2605.06658,
title = {Relit-LiVE: Relight Video by Jointly Learning Environment Video},
author = {Weiqing Xiao and Hong Li and Xiuyu Yang and Houyuan Chen and Wenyi Li and Tianqi Liu and Shaocong Xu and Chongjie Ye and Hao Zhao and Beibei Wang},
journal= {arXiv preprint arXiv:2605.06658},
year = {2026}
}
备注
Accepted at SIGGRAPH 2026. Project site: https://github.com/zhuxing0/Relit-LiVE