生成式视频模型是否理解物理原理？
计算机视觉与模式识别
2025-02-28 v3 人工智能
图形学
机器学习
摘要
AI 视频生成正经历一场革命，质量和真实感正迅速提升。这些进展引发了激烈的科学讨论：视频模型是否学习了“世界模型”，从而发现物理法则？或者，它们仅仅是精明的像素预测器，仅凭视觉逼真就没有理解现实的物理原理？我们通过开发 Physics-IQ，这是一个综合性的基准数据集，来回答这个问题。该数据集只能通过深入理解各种物理原理（如流体动力学、光学、固体力学、磁场和热力学）来解决。我们发现，在当前各种模型（Sora、Runway、Pika、Lumiere、Stable Video Diffusion 和 VideoPoet）中，物理理解严重受限，且与视觉逼真性无关。同时，一些测试案例已经成功解决。这表望单凭观察获取某些物理原理是可能的，但仍面临重大挑战。虽然我们期待未来会迅速进展，但我们的工作表明，视觉逼真并不等于物理理解。我们的项目页面位于 https://physics-iq.github.io；代码位于 https://github.com/google-deepmind/physics-IQ-benchmark。
引用
@article{arxiv.2501.09038,
title = {Do generative video models understand physical principles?},
author = {Saman Motamed and Laura Culp and Kevin Swersky and Priyank Jaini and Robert Geirhos},
journal= {arXiv preprint arXiv:2501.09038},
year = {2025}
}