GeRM：从物理真实到照片级的生成渲染模型
计算机视觉与模式识别
2026-05-15 v2
摘要
虽然基于物理的渲染（PBR）模拟保证物理真实性的光传输，但实现真正的照片级渲染（PRR）仍需昂贵的时间和劳动，且仍难以捕捉现实世界的难以可估的丰富性。我们提出 GeRM，首个将 PBR 转化为 PRR 的多模态生成渲染模型。我们将该 P2P 转换建模为学习分布传递向量（DTV）场以引导生成过程。为实现此目标，我们引入多条件 ControlNet 来合成 PBR 图像，并逐步引导其转化为 PRR 图像，依据 G-buffers、文本提示以及增强区域的线索。为提升模型对由文本提示驱动的图像分布迁移的把握，我们提出残差感知传递机制，将文本提示关联到相应的目标修改区域，从而更清晰地定义增量组件更新。为监督该传递过程，我们引入多主体视觉语言模型框架构建专家引导的成对传递数据集，命名为 P2P-50K，其中每个配对样本对应 DTV 场中的特定传递向量。大量实验表明，GeRM 能合成高质量可控图像，在 diverse 应用中超越最新基线，包括 PBR 和 PRR 图像合成与编辑。
关键词
引用
@article{arxiv.2604.09304,
title = {GeRM: A Generative Rendering Model From Physically Realistic to Photorealistic},
author = {Jiayuan Lu and Rengan Xie and Xuancheng Jin and Zhizhen Wu and Qi Ye and Tian Xie and Hujun Bao and Rui Wang. Yuchi Huo},
journal= {arXiv preprint arXiv:2604.09304},
year = {2026}
}