UniLumos：基于物理可信反馈的图像和视频统一 relighting

relighting是具有实际需求和艺术价值的关键任务，最近的扩散模型通过实现丰富且可控的照明效果显示出强大的潜力。然而，它们通常优化于语义潜在空间，在该空间中，邻近性并不保证在视觉空间中的物理正确性，常常产生不现实的结果，如过曝的高光、错位的阴影和错误的遮挡。我们通过引入RGB空间几何反馈到flow matching主干网络中，提出UniLumos，用于图像和视频的统一 relighting。通过对模型输出的深度和法线图进行监督，我们显式地将照明效果与场景结构对齐，增强了物理可信度。然而，这种反馈需要高质量的输出才能在视觉空间中进行监督，使得标准的多步去噪计算昂贵。为缓解这一问题，我们采用路径一致性学习，允许在少量步骤的训练 regime 下保持监督的有效性。为实现细粒度的 relighting 控制和监督，我们设计了一个结构化的六维标注协议，捕获核心照明属性。基于此，我们提出LumosBench，一个解耦属性级基准，利用大型视觉语言模型评估照明可控性，实现对 relighting 精度在各个维度上的自动和可解释评估。广泛的实验表明，UniLumos在显著提升物理一致性的同时，实现了state-of-the-art的 relighting 质量，同时为图像和视频 relighting提供了约20倍的加速。代码可在 https://github.com/alibaba-damo-academy/Lumos-Custom 查阅。