基于物理模拟器的循环视频生成
计算机视觉与模式识别
2026-03-09 v1 人工智能
图形学
摘要
近期扩散模型视频生成技术取得了显著的视觉逼真度，但仍难以遵循重力、惯性和碰撞等基本物理规律。生成的物体在不同帧之间运动不一致，表现出不可思议的动力学或违反物理约束，限制了AI生成视频的真实性和可靠性。我们通过引入物理模拟器循环视频生成（PSIVG）框架，解决了这一问题。该框架将物理模拟器集成到视频扩散过程中。首先，PSIVG生成由预训练扩散模型生成的模板视频，随后重建其四维场景和前景物体网格，并在物理模拟器中初始化这些场景。生成的物理一致轨迹用于引导视频生成器实现时空上符合物理规律的运动。为进一步提高物体运动期间的纹理一致性，我们提出了一种测试时纹理一致性优化（TTCO）技术，基于模拟器中的像素对应关系调整文本和特征嵌入。综合实验表明，PSIVG生成的视频在遵循真实世界物理规律的同时，保持了视觉质量和多样性。项目页面: https://vcai.mpi-inf.mpg.de/projects/PSIVG/
引用
@article{arxiv.2603.06408,
title = {Physical Simulator In-the-Loop Video Generation},
author = {Lin Geng Foo and Mark He Huang and Alexandros Lattas and Stylianos Moschoglou and Thabo Beeler and Christian Theobalt},
journal= {arXiv preprint arXiv:2603.06408},
year = {2026}
}
备注
Accepted to CVPR 2026