SE3-Pose-Nets：用于视觉运动规划与控制的结构化深度动力学模型
机器人学
2017-10-03 v1 人工智能
计算机视觉与模式识别
神经与进化计算
系统与控制
摘要
在这项工作中，我们提出了一种使用结构化深度动力学模型的深度视觉运动控制方法。我们的深度动力学模型是 SE3-Nets 的一个变体，通过编码器-解码器结构学习用于视觉运动控制的低维位姿嵌入。与先前的工作不同，我们的动力学模型是结构化的：给定一个输入场景，我们的网络显式地学习分割显著部分，并预测它们的位姿嵌入，以及将其运动建模为由于施加的动作而导致的位姿空间变化。我们使用被一个动作分隔的一对点云来训练我们的模型，并表明，仅以帧之间逐点数据关联的形式进行监督，我们的网络就能学习到有意义的场景分割和一致的位姿。我们进一步表明，我们的模型可以直接在学习的低维位姿空间中用于闭环控制，其中动作是通过使用基于梯度的方法最小化位姿空间中的误差来计算的，这与传统的基于模型的控制类似。我们展示了在仿真和真实世界中从原始深度数据控制 Baxter 机器人的结果，并与两个基线深度网络进行了比较。我们的方法实时运行，实现了对场景动态的良好预测，并在多次控制运行中优于基线方法。视频结果可在以下网址找到：https://rse-lab.cs.washington.edu/se3-structured-deep-ctrl/
引用
@article{arxiv.1710.00489,
title = {SE3-Pose-Nets: Structured Deep Dynamics Models for Visuomotor Planning and Control},
author = {Arunkumar Byravan and Felix Leeb and Franziska Meier and Dieter Fox},
journal= {arXiv preprint arXiv:1710.00489},
year = {2017}
}
备注
8 pages, Initial submission to IEEE International Conference on Robotics and Automation (ICRA) 2018