扫描、实体化、模拟：面向物理 grounding 机器人规划的通用框架
机器人学
2025-05-22 v1 计算机视觉与模式识别
图形学
机器学习
摘要
自主机器人必须对其动作的物理后果进行推理才能在非结构化、真实世界环境中有效工作。我们提出了扫描、实体化、模拟（Scan, Materialize, Simulate, 简称 SMS），一个统一的框架，将 3D 高斯溶解技术用于精确场景重建，利用视觉基础模型进行语义分割，运用视觉语言模型推断材料属性，并采用物理仿真实现对动作结果的可靠预测。通过整合这些组件，SMS 实现了无需重新学习基础物理动力学的通用物理推理和面向对象的规划。我们在一个以台球为灵感的操控任务和一个具有挑战性的四旋翼飞行器着陆场景中进行了经验验证，展示了在仿真域迁移和真实实验中的稳健性能。我们的结果突显了在跨越多样化场景中实现物理 grounding 机器人规划的潜力，即通过可微渲染实现场景重建、通过基础模型实现语义理解，以及通过基于物理的仿真相互结合。
引用
@article{arxiv.2505.14938,
title = {Scan, Materialize, Simulate: A Generalizable Framework for Physically Grounded Robot Planning},
author = {Amine Elhafsi and Daniel Morton and Marco Pavone},
journal= {arXiv preprint arXiv:2505.14938},
year = {2025}
}