面向可操作人造物体的物理化常识知识：基于解析概念的通用方法
机器人学
2026-03-03 v2 计算机视觉与模式识别
摘要
我们人类依赖广泛的常识知识来与物理世界中大量和种类的物体进行交互。同样，这种常识知识也对于机器人成功发展出通用的物体操控技能至关重要。尽管近期在多模态大语言模型 (MLLM) 方面的进展展示了其在获取常识知识和进行常识推理方面的惊人能力，但有效地将 MLLM 生成的语义层面知识与物理世界中的实际机器人结合起来，全面指导机器人进行通用的可动接人造物体操控，仍是一个尚未得到充分解决的挑战。为此，我们引入了基于数学符号的解析概念，这些概念可以被机器直接计算和模拟。通过将解析概念作为 MLLM 推断的语义层面知识与实际机器人操作的物理世界之间的桥梁，我们能够获得物体结构和功能的知识，并利用基于物理的表示来指导机器人控制策略，以实现对通用可动接人造物体操控的通用性和准确性。大量实验在真实世界和仿真环境中均证明了我们方法的优越性。
引用
@article{arxiv.2503.23348,
title = {Physically Ground Commonsense Knowledge for Articulated Object Manipulation with Analytic Concepts},
author = {Jiude Wei and Yuxuan Li and Cewu Lu and Jianhua Sun},
journal= {arXiv preprint arXiv:2503.23348},
year = {2026}
}