Phys2Real：融合VLM先验与交互式在线适应的不确定性感知仿真到现实操作
机器人学
2026-03-09 v2 人工智能
摘要
在现实世界中直接学习机器人操作策略代价高昂且耗时。虽然在仿真中训练的强化学习（RL）策略提供了可扩展的替代方案，但有效的仿真到现实迁移仍具有挑战，尤其是对于需要精确动力学的任务。为此，我们提出Phys2Real——一个结合视觉语言模型（VLM）推断的物理参数估计与通过不确定性感知融合实现交互式适应的实到仿真到实的RL流水线。我们的方法包含三个核心组件：（1）基于3D高斯溅射的高保真几何重建，（2）VLM对物理参数分布的先验推断，（3）来自交互数据的在线物理参数估计。Phys2Real将策略条件化于可解释的物理参数，通过集成方法进行不确定性量化，细化VLM预测。我们在T型块的平面推送任务（考虑中心质量位置变化）和锤子推送任务（考虑偏心质量分布）上进行测试。相较于基于域随机化的基线，Phys2Real实现了显著性提升：对于底部受力T型块成功率从79%提升至100%，对于顶部受力T型块成功率从23%提升至57%，锤子推送任务的平均完成时间缩短15%。消融实验表明，VLM与交互信息的结合是成功的关键。项目网址：https://phys2real.github.io/。
引用
@article{arxiv.2510.11689,
title = {Phys2Real: Fusing VLM Priors with Interactive Online Adaptation for Uncertainty-Aware Sim-to-Real Manipulation},
author = {Maggie Wang and Stephen Tian and Aiden Swann and Ola Shorinwa and Jiajun Wu and Mac Schwager},
journal= {arXiv preprint arXiv:2510.11689},
year = {2026}
}
备注
Accepted to IEEE International Conference on Robotics and Automation (ICRA) 2026