PRISM：用于光照真实重建和内在场景建模的统一框架
图形学
2025-05-15 v2 计算机视觉与模式识别
摘要
我们提出了PRISM，一个统一的框架，使多个图像生成和编辑任务能够在单个基础模型中实现。从预训练的文本到图像扩散模型开始，PRISM提出了一种有效的微调策略，同时生成RGB图像和内在图（称为X层）。与以前的方法不同，PRISM通过联合生成所有内在层来保持跨模态的一致性，而这些方法要么逐个推断内在属性，要么需要单独的模型进行分解和条件生成。它支持多样化的任务，包括文本到RGBX生成、RGB到X分解和X到RGBX条件生成。此外，PRISM通过对选定的内在层和文本提示进行条件，支持全局和局部图像编辑。广泛的实验表明，PRISM在内在图像分解和条件图像生成方面表现出竞争力，同时保持了基础模型的文本到图像生成能力。
引用
@article{arxiv.2504.14219,
title = {PRISM: A Unified Framework for Photorealistic Reconstruction and Intrinsic Scene Modeling},
author = {Alara Dirik and Tuanfeng Wang and Duygu Ceylan and Stefanos Zafeiriou and Anna Frühstück},
journal= {arXiv preprint arXiv:2504.14219},
year = {2025}
}