DMotion：基于视频无监督前向模型学习的机器人视觉运动控制
机器人学
2021-07-27 v3
摘要
学习准确的环境模型对于基于模型的控制任务至关重要。现有的机器人视觉运动控制方法通常从带有大量标注动作、物体实体或位置的数据中学习，这在许多情况下代价高昂。为应对此限制，我们提出一种称为DMotion的方法，其仅从视频数据中通过解耦可控智能体的运动来建模转移动态，从而训练前向模型。物体提取器和交互学习器以端到端方式无监督训练。智能体的运动使用含有物理意义的空间变换矩阵显式表示。实验中，DMotion在Grid World环境以及更真实的仿真机器人控制环境中学习准确前向模型方面均取得优越性能。借助准确学习的前向模型，我们进一步展示了它们在模型预测控制中作为机器人操作有效方法的用途。
引用
@article{arxiv.2103.04301,
title = {DMotion: Robotic Visuomotor Control with Unsupervised Forward Model Learned from Videos},
author = {Haoqi Yuan and Ruihai Wu and Andrew Zhao and Haipeng Zhang and Zihan Ding and Hao Dong},
journal= {arXiv preprint arXiv:2103.04301},
year = {2021}
}
备注
IROS 2021