Light-A-Video：基于渐进光融合的无训练视频 relighting
计算机视觉与模式识别
2025-03-13 v2
摘要
近期图像 relighting 模型的进展得益于大规模数据集和预训练扩散模型，使其能够实现一致的光照效果。然而，视频 relighting 仍落后于此，主要由于过高的训练成本以及稀缺的多样化高质量视频 relighting 数据集。直观地将图像 relighting 模型逐帧应用到视频上会导致多个问题：光源不一致以及 relit 后外观不一致，进而产生闪烁现象。本文提出 Light-A-Video，一种无训练的实现时序平滑视频 relighting 方法。该方法改自图像 relighting 模型，引入两项关键技术以提升光照一致性。首先，我们设计了一致光注意力（Consistent Light Attention, CLA）模块，在图像 relight 模型的自注意力层中增强跨帧互动，以稳定背景光源的生成。其次，依据光传输的独立性原理，我们对源视频外观与 relit 后外观进行线性混合，采用渐进光融合（Progressive Light Fusion, PLF）策略确保照明在时间上的平滑过渡。实验表明，Light-A-Video 在保持 relit 图像质量的同时，提升了生成视频的时序一致性，确保不同帧之间灯光的连贯性。项目页面：https://bujiazi.github.io/light-a-video.github.io/。
关键词
引用
@article{arxiv.2502.08590,
title = {Light-A-Video: Training-free Video Relighting via Progressive Light Fusion},
author = {Yujie Zhou and Jiazi Bu and Pengyang Ling and Pan Zhang and Tong Wu and Qidong Huang and Jinsong Li and Xiaoyi Dong and Yuhang Zang and Yuhang Cao and Anyi Rao and Jiaqi Wang and Li Niu},
journal= {arXiv preprint arXiv:2502.08590},
year = {2025}
}
备注
Project Page: https://bujiazi.github.io/light-a-video.github.io/