通过深度网络推断Jacobian场来控制多样化机器人

模仿自然生物体的复杂结构和多样功能是机器人学中的长期挑战。现代制造技术极大地拓展了可行用的硬件范围，但这些系统的控制软件仍需将所需运动转化为执行器命令。传统机器人可轻松建模为由刚性连接件组成的刚性连杆，但要为常为柔软或由多种材料制成、缺乏感知能力且可能随使用而改变材料性质的生物学启发式机器人建模与控制，仍是一个开放性问题。我们引入一种方法，使用深度神经网络将机器人视频流映射到其视觉-运动Jacobian场(即所有3D点对机器人执行器灵敏度)。该方法使我们能够仅通过单一相机控制机器人，无需对机器人的材料、执行或感知作出假设，且可在不依赖专家干预的情况下通过观察随机命令的执行进行训练。我们在actuation、材料、制造和成本各异的多种机器人操作臂上演示了该方法。我们的做法实现了精确的闭环控制，并恢复了每个机器人的因果动态结构。由于该方法仅使用通用相机作为唯一传感器即可实现机器人控制，我们预计该工作将拓宽机器人系统的设计空间，并作为降低机器人自动化门槛的起点。