HarmoVid: 无感视频人像搭配

我们提出一种方法，用于将前景视频的照明调和为匹配目标背景场景的照明，调整阴影、色调和照明强度(无缝搭配)。与图像不同，为视频获取标注数据在不同照明条件下录制的相同动作几乎不可能且不可扩展。虽然一种创建此类配对数据的方法是逐帧应用现有基于图像的搭配模型，但生成的结果常常出现显著的时序抖动。我们通过引入一种新型灯光抖动消除模型来克服这一问题，该模型能够稳定全球和局部灯光抖动痕迹。我们的视频扩散模型学习于这些升级后的抖动消除数据上，结合真实与合成视频的大量数据，以生成高质量的视频搭配结果。我们进一步提出一种非对称 alpha mask 条件技术，以从真实视频中学习干净的边界。实验表明，我们的模型在保持强大的 relighting 表达性的同时，实现了强大的时序一致性、自然性、更干净的边界以及物理上有意义的灯光行为，优于先前的基于图像和基于视频的搭配方法。