从真实世界演示中学习人类可读计划的合成训练神经网络
机器人学
2018-07-12 v3
摘要
我们提出一个从真实世界演示中推断并执行人类可读程序的系统。该系统由一系列神经网络组成，用于执行感知、程序生成与程序执行。利用卷积姿态机，感知网络仅在使用域随机化对合成图像训练后，就能可靠检测真实图像中物体的包围长方体，即使在严重遮挡时也是如此。为增加感知网络对新场景的适用性，该网络被构建为在图像空间而非世界空间中预测。额外的网络检测物体间关系、生成计划并确定动作以复现真实世界演示。这些网络完全在仿真中训练，该系统在真实世界中使用 Baxter 机器人对堆叠彩色立方体的拾放问题进行了测试。
引用
@article{arxiv.1805.07054,
title = {Synthetically Trained Neural Networks for Learning Human-Readable Plans from Real-World Demonstrations},
author = {Jonathan Tremblay and Thang To and Artem Molchanov and Stephen Tyree and Jan Kautz and Stan Birchfield},
journal= {arXiv preprint arXiv:1805.07054},
year = {2018}
}
备注
IEEE International Conference on Robotics and Automation (ICRA) 2018. For associated video, see https://youtu.be/B7ZT5oSnRys