TC-Light：逼真世界迁移的时序一致生成渲染

照明和纹理编辑是世界到世界迁移的关键维度，这对于包括sim2real和real2real用于具身AI的视觉数据扩张等应用具有重要价值。现有技术通过生成性重渲染输入视频来实现迁移，如视频 relighting 模型和条件世界生成模型。然而，这些模型主要受限于训练数据的域（如肖像），或在时间一致性和计算效率方面受阻，尤其当输入视频涉及复杂动态和持续时间较长时。本文提出了TC-Light，一种 novel generative renderer来克服这些问题。起初，该方法依据膨胀视频 relighting 模型对视频进行初步 relighting，然后在第一个阶段优化外观嵌入以对齐全局照明。随后在第二个阶段优化提出的标准视频表示，即Unique Video Tensor(UVT)，以对齐细粒度纹理和照明。为全面评估性能，我们还建立了一个持久且高度动态的视频基准。大量实验表明，我们的方法能够以优异的时间一致性和低计算成本实现物理上合情的再渲染结果。代码和视频演示可在 https://dekuliutesla.github.io/tclight/ 查找。