用于单关节工具操作的层次化强化学习

操作单关节工具，如镊子或剪刀, 在以往研究中鲜有探索。与刚性工具不同, 单关节工具会动态改变其形状, 为灵巧机器人手臂带来独特挑战。本文提出了一个层次化、以目标为条件的强化学习 (GCRL) 框架, 以提高拟人机器人手臂使用单关节工具的操控能力。我们的框架包含两个 policy 层次: (1) 低层 policy 使灵巧手臂能够将工具置于各种配置以适应不同大小的物体, 和 (2) 高层 policy 定义工具的目标状态并控制机器人手臂进行物体拾取任务。我们采用在合成点云上训练的编码器来估计工具的 affordance 状态--即不同工具配置 (例如, 镊子开启角度) 如何 enable 对不同大小物体的抓取，从而实现精确的工具操控。我们还利用特权信息的启发式 policy 来生成回放缓冲区, 改善了高层 policy 的训练效率。我们通过实际实验验证了我们的方案, 显示机器人能够有效地使用类似镊子的工具来抓取形状各异的物体, 成功率为 70.8%。本研究突显了 RL 在推进灵巧机器人单关节工具操控方面的潜力。