LumiSculpt: 实现视频生成中一致的人像光照
计算机视觉与模式识别
2025-08-26 v2
摘要
光照在确保视频生成的自然性和美学质量方面起着关键作用。然而，光照的影响与视频的其他因素（如物体和场景）深度耦合。因此，将光照条件独立地解耦和建模仍然具有挑战性，这限制了视频生成中对光照的灵活控制。在本文中，受成熟的可控文本到图像（T2I）模型的启发，我们提出了 LumiSculpt，它能够在文本到视频（T2V）生成模型中实现精确且一致的光照控制。LumiSculpt 为视频生成赋予了新的交互能力，允许输入具有自定义光照条件的参考图像序列。此外，LumiSculpt 的核心可即插即用学习模块能够在视频扩散模型中直接控制假设光源的强度、位置和轨迹。为了有效训练 LumiSculpt 并解决光照数据不足的问题，我们构建了 LumiHuman——一个面向图像和视频人像光照的新型轻量且灵活的数据集。实验结果表明 LumiSculpt 在视频生成中实现了精确且高质量的光照控制。分析表明了 LumiHuman 的灵活性。
引用
@article{arxiv.2410.22979,
title = {LumiSculpt: Enabling Consistent Portrait Lighting in Video Generation},
author = {Yuxin Zhang and Dandan Zheng and Biao Gong and Shiwen Wang and Jingdong Chen and Ming Yang and Weiming Dong and Changsheng Xu},
journal= {arXiv preprint arXiv:2410.22979},
year = {2025}
}