Lasagna：用于解耦物体重打光的层次化分数蒸馏方法
计算机视觉与模式识别
2023-12-05 v1
摘要
专业艺术家、摄影师及其他视觉内容创作者利用物体重打光来营造照片所需的视觉效果。遗憾的是，支持重打光的手动工具学习曲线陡峭且难以掌握。尽管当前的生成式编辑方法已能实现某些形式的图像编辑，但重打光仍超出当今技术的能力范围；现有方法在编辑后难以保持图像的其他方面——颜色、形状和纹理——的一致性。我们提出 Lasagna，一种支持直观文本引导重打光控制的方法。Lasagna 通过使用分数蒸馏采样（score distillation sampling）蒸馏一个在合成重打光数据上微调过的扩散模型的先验，从而学习到光照先验。为训练 Lasagna，我们整理了一个新的合成数据集 ReLiT，其中包含从多个光源位置重新打光的 3D 物体资产。尽管仅在合成图像上训练，定量结果表明 Lasagna 能对真实世界图像进行重打光，同时保留输入图像的其他方面，优于最先进的文本引导图像编辑方法。Lasagna 在自然图像和数字艺术作品上均能生成逼真且可控的结果，并且在超过 91% 的案例中被人类偏好于其他方法。最后，我们通过将其扩展至另一种图像编辑形式——上色，展示了我们学习目标的通用性。
引用
@article{arxiv.2312.00833,
title = {Lasagna: Layered Score Distillation for Disentangled Object Relighting},
author = {Dina Bashkirova and Arijit Ray and Rupayan Mallick and Sarah Adel Bargal and Jianming Zhang and Ranjay Krishna and Kate Saenko},
journal= {arXiv preprint arXiv:2312.00833},
year = {2023}
}