RealMaster：将渲染场景提升为光照真实的视频
计算机视觉与模式识别
2026-03-25 v1
摘要
最先进的视频生成模型在照片级逼真度上取得了显著进展，但缺乏将生成内容与特定场景要求精确对齐的控制能力。此外，由于缺乏明确的几何结构，这些模型无法保证3D一致性。相反，3D引擎对每个场景元素提供细粒度控制，并通过设计本身提供原生3D一致性，但其输出常常陷入“不真实”区。桥接此sim-to-real鸿沟需要结构精确度——即输出必须完全保留输入的几何和动态——以及全局语义转换——即必须对材料、灯光和纹理进行整体转换以实现逼真。我们提出RealMaster方法，利用视频扩散模型将渲染视频提升为光照真实的视频，同时保持与3D引擎输出的完全对齐。为训练此模型，我们通过基于锚点的传播策略生成配对数据集，其中前后帧被增强为真实感，并利用几何条件线索在中间帧之间进行传播。我们随后在这些配对视频上训练IC-LoRA，将管线的高质量输出蒸馏到能够处理序列中出现的物体和角色以及无需锚点帧即可进行推断的模型中。在复杂的GTA-V序列上评估后，RealMaster显著优于现有的视频编辑基线，提高了逼真度，同时保留了原始3D控制所指定的几何、动态和身份。
引用
@article{arxiv.2603.23462,
title = {RealMaster: Lifting Rendered Scenes into Photorealistic Video},
author = {Dana Cohen-Bar and Ido Sobol and Raphael Bensadoun and Shelly Sheynin and Oran Gafni and Or Patashnik and Daniel Cohen-Or and Amit Zohar},
journal= {arXiv preprint arXiv:2603.23462},
year = {2026}
}
备注
Project page: https://danacohen95.github.io/RealMaster/