RelightMaster：基于多平面光照图的精准视频重 lighting
摘要
近期扩散模型的进展使高质量的视频生成与编辑成为可能，但 precisely relighting（精准重 lighting）尚未得到探索，这对于塑造场景氛围和观众注意力至关重要。主流文本到视频（T2V）模型因文本本身难以描述细节 lighting 信息以及对 lighting 相关提示的预训练不足而缺乏细粒度 lighting 控制。此外，构建高质量重 lighting 训练数据的挑战在于，现实世界可控 lighting 数据稀缺。为此，我们提出RelightMaster，一个用于准确可控视频重 lighting的新型框架。首先，我们构建RelightVideo——基于Unreal Engine的首个在相同动态内容下处于不同精确 lighting 条件下的视频数据集。随后，我们引入多平面光照图（MPLI），一种受多平面图像（MPI）启发的新型视觉提示。MPLI通过K个深度对齐平面来建模 lighting，代表3D光源位置、强度和颜色，同时支持多光源场景并可推广到未见的 light setup。第三，我们设计Light Image Adapter，将MPLI无缝注入预训练的Video Diffusion Transformers（DiT）中：它通过预训练的Video VAE压缩MPLI，并将潜在 light features注入DiT模块，利用基础模型的生成先验而不致产生灾难性遗忘。实验表明，RelightMaster生成的光照和阴影符合物理规律，同时保留原始场景内容。演示已公开于https://wkbian.github.io/Projects/RelightMaster/。
引用
@article{arxiv.2511.06271,
title = {RelightMaster: Precise Video Relighting with Multi-plane Light Images},
author = {Weikang Bian and Xiaoyu Shi and Zhaoyang Huang and Jianhong Bai and Qinghe Wang and Xintao Wang and Pengfei Wan and Kun Gai and Hongsheng Li},
journal= {arXiv preprint arXiv:2511.06271},
year = {2025}
}
备注
Project Page: https://wkbian.github.io/Projects/RelightMaster/