面向真实世界视觉机器人操作的随机到规范模型预测控制
机器人学
2022-07-06 v1 机器学习
摘要
近来许多工作探索了可 Sim-to-real 迁移的视觉模型预测控制（MPC）。然而，这类工作局限于一次性迁移，即必须采集一次真实世界数据来执行仿真到真实的迁移，这在将仿真中学习的模型迁移至真实世界新领域时仍耗费大量人力。为缓解该问题，我们首先提出一种称为卡尔曼随机到规范模型（KRC-model）的新颖模型学习框架。该框架能够从随机图像中提取任务相关的内在特征及其动态。随后，我们提出卡尔曼随机到规范模型预测控制（KRC-MPC），作为一种利用 KRC-model 的零样本仿真到真实可迁移视觉 MPC。我们的方法通过机械手在仿真与真实世界中的阀门旋转任务，以及仿真中的积木装配任务进行评估。实验结果表明，KRC-MPC 能够以零样本方式应用于多种真实领域与任务。
引用
@article{arxiv.2207.01840,
title = {Randomized-to-Canonical Model Predictive Control for Real-world Visual Robotic Manipulation},
author = {Tomoya Yamanokuchi and Yuhwan Kwon and Yoshihisa Tsurumine and Eiji Uchibe and Jun Morimoto and Takamitsu Matsubara},
journal= {arXiv preprint arXiv:2207.01840},
year = {2022}
}
备注
8 pages, Accepted by Robotics and Automation Letters