用于类人机器人操作的视觉逆强化学习

我们提出了一种新方法，使协作机器人能够学习操作任务并以类人的方式执行。我们的方法属于观察学习范式，机器人通过观察人类动作来学习执行任务，与从零开始编程相比，这有助于更快地融入工业环境。我们引入了 Visual IRL，它直接将观察到的人类任务执行过程中每一帧的 RGB-D 关键点作为状态特征，作为逆强化学习（IRL）的输入。逆向学习到的奖励函数将关键点映射为奖励值，并通过一种新颖的神经符号动力学模型将其从人类转移到协作机器人，该模型将人类运动学映射到协作机器人手臂。该模型允许相似的末端执行器定位，同时最小化关节调整，旨在保持机器人操作中人类运动的自然动力学。与以往仅关注末端执行器放置的技术不同，我们的方法将人类手臂的多个关节角度映射到相应的协作机器人关节上。此外，它使用逆运动学模型来最小程度地调整关节角度，以实现精确的末端执行器定位。我们在两个不同的现实操作任务上评估了该方法的性能。第一个任务是农产品处理，包括根据洋葱是否有瑕疵进行拾取、检查和放置。第二个任务是倒液体，机器人拾起瓶子，将内容物倒入指定容器，并丢弃空瓶子。我们的结果展示了类人机器人操作方面的进步，促进了制造应用中更高的人机兼容性。