合成视频提升视频合成的物理保真度
图像与视频处理
2025-03-28 v1 人工智能
图形学
摘要
我们研究如何通过利用来自计算机图形管道生成的合成视频来增强视频生成模型的物理保真度。这些渲染视频遵循真实世界的物理定律，如维持3D一致性，作为可能改善视频生成模型的宝贵资源。为充分利用这一潜力，我们提出了一种解决方案，对合成数据进行整理和集成，并引入一种方法将其物理真实性转移到模型中，显著减少不必要的伪影。通过在三个强调物理一致性的代表性任务上的实验，我们证明了其在增强物理保真度方面的有效性。尽管我们的模型仍缺乏对物理的深入理解，但我们的工作提供了合成视频增强视频合成物理保真度的一种首批实证 demonstration之一。网站：https://kevinz8866.github.io/simulation/
引用
@article{arxiv.2503.20822,
title = {Synthetic Video Enhances Physical Fidelity in Video Synthesis},
author = {Qi Zhao and Xingyu Ni and Ziyu Wang and Feng Cheng and Ziyan Yang and Lu Jiang and Bohan Wang},
journal= {arXiv preprint arXiv:2503.20822},
year = {2025}
}