LLMPhy：结合大型语言模型与物理引擎的参数可辨识物理推理
机器学习
2026-04-27 v3 人工智能
计算机视觉与模式识别
机器人学
摘要
大多数基于学习的复杂物理推理方法回避了控制场景动力学的关键参数辨识问题（例如质量、摩擦），尽管该问题在碰撞避免和机器人操作等现实应用中至关重要。在本文中，我们提出了 LLMPhy，这是一个将大型语言模型 (LLM) 与物理模拟器相结合进行物理推理的黑箱优化框架。LLMPhy 的核心见解是，将嵌入在 LLM 中的教科书物理知识与现代物理引擎中实现的世界模型连接起来，从而通过潜在参数估计实现输入场景数字孪生的构建。具体来说，LLMPhy 将数字孪生构建分解为两个子问题：(i) 估计物理参数的连续问题和 (ii) 估计场景布局的离散问题。对于每个子问题，LLMPhy 迭代地提示 LLM 生成编码参数估计的计算机程序，在物理引擎中执行这些程序以重建场景，并使用产生的重建误差作为反馈来优化 LLM 的预测。由于现有的物理推理基准很少考虑参数可辨识性，我们引入了三个新的数据集，旨在评估零样本设置下的物理推理。我们的结果表明，LLMPhy 在我们的任务上达到了最先进的性能，能更准确地恢复物理参数，并且比先前的黑箱方法收敛得更可靠。详情请见 LLMPhy 项目页面：https://www.merl.com/research/highlights/LLMPhy
引用
@article{arxiv.2411.08027,
title = {LLMPhy: Parameter-Identifiable Physical Reasoning Combining Large Language Models and Physics Engines},
author = {Anoop Cherian and Radu Corcodel and Siddarth Jain and Diego Romeres},
journal= {arXiv preprint arXiv:2411.08027},
year = {2026}
}
备注
Accepted at AISTATS 2026