Vid2Sid：视频有助于缩小仿真-现实差距
机器人学
2026-02-24 v1 机器学习
摘要
校准机器人仿真器的物理参数（如摩擦系数、阻尼、材料刚度）以手工方式或黑箱优化器进行，后者虽能降低误差，但无法解释哪些物理差异驱动了误差。当感知仅限于外部摄像机时，问题因感知噪声以及缺乏直接力或状态测量而进一步恶化。我们提出了 Vid2Sid，一种基于视频的系统识别管道，将基础模型感知与基于视觉语言模型（VLM）的优化器相结合，后者分析配对的仿真-现实视频，诊断具体的不匹配情况，并以自然语言理由提出物理参数更新。我们在弹性体指节（MuJoCo 中的刚体动力学）和可伸缩软体触手（PyElastica 中的软体动力学）上进行评估。在训练期间未见到的仿真-现实持续控制上，Vid2Sid 在所有设置中实现最佳平均排名，匹配或超越黑箱优化器，同时独特地在每次迭代中提供可解释的推理。仿真-仿真验证确认，Vid2Sid 最准确地恢复了真实参数（平均相对误差小于 13\%，而黑箱优化器为 28--98\%），并通过消融分析揭示了三种校准模式。在感知干净且仿真器具有表达力时，VLM 指导的优化表现最佳，而模型类限制在更具挑战性的环境中限制了性能。
引用
@article{arxiv.2602.19359,
title = {Vid2Sid: Videos Can Help Close the Sim2Real Gap},
author = {Kevin Qiu and Yu Zhang and Marek Cygan and Josie Hughes},
journal= {arXiv preprint arXiv:2602.19359},
year = {2026}
}