通过合成曝光组合实现线性图像生成

照片的生命从光子击中传感器开始，其信号经过精密的图像信号处理 (ISP) 流程后产生显示参考图像。然而，这些图像不再忠实于入射光，因其动态范围被压缩且被主观偏好进行了风格化。在 contrast RAW 图像记录的是在非线性调色映射之前的直接传感器信号。经过摄像机响应曲线校正和 demosaicing 后，它们可以转换为线性图像，这些图像是场景参考表征，直接反映真实辐射强度，并对传感器特定因素保持不变。由于图像传感器具有更好的动态范围和位深，线性图像比显示参考图像包含更丰富的信息，为后期处理留下了更多的编辑空间。尽管如此，当前的生成模型主要合成显示参考图像，这本质上限制了下游的编辑。在本文中，我们解决了文本到线性图像生成的任务：合成给定文本提示条件下的高质量、场景参考线性图像，以保留完整的动态范围，为专业后期处理。生成线性图像具有挑战性，因为预训练的 VAE 在潜在扩散模型中难以同时保持极端高光和阴影 due to 更高的动态范围和位深。为此，我们将线性图像表示为一系列曝光组合，每个组合捕获动态范围的特定部分，并提出一种基于 DiT 的流匹配架构用于文本条件下的曝光组合生成。我们进一步展示了包括文本引导的线性图像编辑和通过 ControlNet 实现的结构条件生成等下游应用。