DiffusionHarmonizer: 连接神经重建与光照 realism 的在线扩散增强器

仿真对于开发和评估自主机器人如自动驾驶车辆至关重要。神经重建正在成为一种有前景的解决方案，因为它能够自动且可扩展地从真实世界数据中模拟各种情景。然而，尽管NeRF和3D 高斯消散可以产生视觉上令人信服的结果，但它们常常在渲染新视角时出现伪影，无法真实地将来自不同场景的插入动态对象无缝集成。为克服这些限制，我们引入DiffusionHarmonizer，一个在线生成性增强框架，将来自此类不完美场景的渲染转化为在时序上一致的输出并提升其真实感。其核心是一个来自预训练多步骤图像扩散模型的单步时序条件增强器，能够在单个GPU上运行于在线仿真器中。有效训练其关键在于一个定制的数据 curated pipeline，该管道构建强调外观和谐、伪影校正和光照真实感的合成-真实配对。结果是一个可扩展的系统，显著提升了研究和生产环境中的仿真保真度。