基于方程发现的物理导向运动预测:用于轨迹引导的图像到视频生成
计算机视觉与模式识别
2025-07-10 v1 人工智能
摘要
近期扩散模型和自回归视频生成模型在视觉逼真度方面取得了显著进展。然而,这些模型通常缺乏准确的物理对齐,无法复制物体运动中的真实动态。这种局限性主要源于其依赖学习统计相关性,而非捕捉遵循物理法则的机制。为此,我们提出了一种新框架,将符号回归 (SR) 与轨迹引导的图像到视频 (I2V) 模型集成,以实现物理导向的视频预测。我们的方法从输入视频中提取运动轨迹,使用基于检索的预训练机制增强符号回归,并发现运动方程以预测物理准确的未来轨迹。这些轨迹随后用于引导视频生成,无需对现有模型进行微调。我们的方法在经典力学中的场景(包括弹簧-质量、摆动和抛体运动)进行评估,成功恢复了真实解析方程,并在物理对齐方面优于基线方法。
引用
@article{arxiv.2507.06830,
title = {Physics-Grounded Motion Forecasting via Equation Discovery for Trajectory-Guided Image-to-Video Generation},
author = {Tao Feng and Xianbing Zhao and Zhenhua Chen and Tien Tsin Wong and Hamid Rezatofighi and Gholamreza Haffari and Lizhen Qu},
journal= {arXiv preprint arXiv:2507.06830},
year = {2025}
}