自主学习视觉检测操作将成功的位置

视觉特征可以帮助预测某种操作行为在给定位置是否会成功。例如，拨动电灯开关这一行为的成功与否取决于开关的位置。在本文中，我们提出了一种方法，使移动机械臂能够自主学习一个函数，该函数以RGB图像和配准的3D点云作为输入，并返回一个操作行为可能成功的3D位置。给定一对可以在两个状态集合之间改变世界状态的操作行为（例如，电灯开关向上和电灯开关向下）、用于检测每种行为何时成功的分类器，以及关于其中一种行为将在何处成功的初始提示，机器人通过在世界中的不同位置尝试这些行为并观察结果，自主训练了一对支持向量机（SVM）分类器。当与3D位置相关联的图像特征向量作为输入提供给其中一个SVM时，该SVM会预测相关的操作行为在该3D位置是否会成功。为了评估我们的方法，我们使用来自Willow Garage的PR2机器人在一个模拟家庭中进行了实验，使用的行为包括拨动电灯开关、按压摇杆式电灯开关和操作抽屉。通过使用主动学习，机器人高效地学习了SVM，使其能够持续成功地完成这些任务。在训练之后，机器人还会继续学习，以便在发生失败时进行适应。