UniLight：一种统一的灯光表示

灯光对视觉外观影响巨大，但在图像中理解和表示灯光仍然极其困难。各种灯光表示方式存在，如环境图、 irradiance、球面谐和或文本，但它们不兼容，这限制了跨模态转换。我们因此提出 UniLight，作为灯光表示的联合潜在空间，将多个模态统一于共享嵌入中。针对文本、图像、 irradiance 和环境图的模态特定编码器通过对比学习对齐其表示，并通过辅助的球面谐和预测任务强化方向理解。我们的多模态数据管道使大规模训练和评估在三个任务之间实现：基于灯光的检索、环境图生成和基于扩散的图像合成中的灯光控制。实验表明，我们的表示捕获了一致且可迁移的灯光特征，使其在模态之间实现灵活的操控。