LyRN(李雅普诺夫到达网络):一种基于单目视觉的实时闭环方法
机器人学
2020-05-29 v2
摘要
我们提出了一种基于新颖学习原理的视觉引导到达闭环多实例控制算法。在可获得完整状态信息(所有潜在到达点的位姿)的情况下,采用控制李雅普诺夫函数方法为复杂多实例任务设计到达动作。所提算法以单目视觉和机械臂关节角为输入,送入深度卷积神经网络以预测控制李雅普诺夫函数(cLf)的值及相应的速度控制。所得网络输出被实时用作抓取任务的视觉控制,其多实例能力由控制李雅普诺夫函数的设计自然涌现。我们展示了该算法在桌面场景下通过肩后单目 RGB 相机抓取杯子(无纹理对称物体)。机械臂能从工作空间内任意随机初始位姿动态收敛到多个相同实例中最合适的目标。仅用仿真数据训练的系统在真实世界实验中达到 90.3% 的抓取成功率,在单块 GTX 1080Ti GPU 上实现高达 85Hz 的闭环控制,并显著优于基于最先进单帧 RGB 6D 位姿估计算法改写的基于位姿的视觉伺服(PBVS)抓取系统。本文的一个关键贡献是在学习过程中引入与 cLf 相关的一阶微分约束作为正则化项,并证明这比在一般控制输入上的普通回归带来更鲁棒可靠的到达/抓取性能。
引用
@article{arxiv.2005.12072,
title = {LyRN (Lyapunov Reaching Network): A Real-Time Closed Loop approach from Monocular Vision},
author = {Zheyu Zhuang and Xin Yu and Robert Mahony},
journal= {arXiv preprint arXiv:2005.12072},
year = {2020}
}