MotionPhysics：面向文本引导仿真的可学习运动蒸馏
计算机视觉与模式识别
2026-01-05 v1 人工智能
图形学
摘要
准确模拟现有3D对象和多种材料的动态行为往往需要专业知识和耗时的物理参数调谐才能实现理想的动态行为。我们提出MotionPhysics，一个端到端可微框架，从用户提供的自然语言提示中推断出合理的物理参数，用于感兴趣的3D场景，无需来自 ground-truth 轨迹或标注视频的指导。我们的方案首先利用多模态大语言模型估计材料参数值，这些参数受限于合理范围。我们进一步提出一种可学习的运动蒸馏损失，从预训练视频扩散模型中提取稳健的运动先验，同时最小化外观和几何归纳偏差以指导仿真。我们在超过三十个场景上评估了MotionPhysics，包括现实世界、人类设计和AI生成的3D对象，涵盖弹性固体、金属、泡沫、沙子以及牛顿流体和非牛顿流体等多种材料。我们展示MotionPhysics能够通过自然语言指导生成视觉上逼真的动态仿真，超过了当前技术水平，同时自动确定物理上合理的参数。代码和项目页面可在：https://wangmiaowei.github.io/MotionPhysics.github.io/ 查看。
引用
@article{arxiv.2601.00504,
title = {MotionPhysics: Learnable Motion Distillation for Text-Guided Simulation},
author = {Miaowei Wang and Jakub Zadrożny and Oisin Mac Aodha and Amir Vaxman},
journal= {arXiv preprint arXiv:2601.00504},
year = {2026}
}
备注
AAAI2026 Accepted