RelightVid：用于视频重光照的时间一致性扩散模型
计算机视觉与模式识别
2025-01-28 v1 人工智能
摘要
扩散模型在图像生成与编辑方面取得了显著成功，最近的进展使得保留反照率的图像重光照成为可能。然而，由于缺乏成对的视频重光照数据集，且对输出保真度和时间一致性要求极高，加之扩散模型固有的随机性，将这些模型应用于视频重光照仍然具有挑战性。为了应对这些挑战，我们引入了 RelightVid，这是一个灵活的视频重光照框架，可以接受背景视频、文本提示或环境贴图作为重光照条件。RelightVid 在带有精心设计的光照增强的野外视频以及极端动态光照下渲染的视频上进行训练，无需进行本征分解即可实现具有高时间一致性的任意视频重光照，同时保留其图像主干的照明先验。
引用
@article{arxiv.2501.16330,
title = {RelightVid: Temporal-Consistent Diffusion Model for Video Relighting},
author = {Ye Fang and Zeyi Sun and Shangzhan Zhang and Tong Wu and Yinghao Xu and Pan Zhang and Jiaqi Wang and Gordon Wetzstein and Dahua Lin},
journal= {arXiv preprint arXiv:2501.16330},
year = {2025}
}