基于学习的手中操作中自适应手指协作的多智能体方法
机器人学
2023-07-12 v1
摘要
由于多自由度以及与物体的复杂交互，手中操作对多指机械手而言具有挑战性。为实现手中操作，现有的基于深度强化学习的方法主要通过集中式学习机制训练特定机器人结构的单一策略，缺乏针对如机器人故障等变化的适应性。为解决此局限，本工作将每根手指视为独立智能体，训练多个智能体控制其分配的手指以协作完成手中操作任务。我们提出了多智能体全局观测评论家与局部观测执行者（MAGCLA）方法，其中评论家可全局观测所有智能体的动作，而执行者仅局部观测其邻居的动作。此外，常规个体经验回放可能因各智能体性能增量异步而导致协作不稳定，而这对手中操作任务至关重要。为解决此问题，我们提出了同步后见经验回放（SHER）方法，以跨所有智能体同步并高效复用回放经验。所述方法在 Shadow 灵巧手的两个手中操作任务上进行了评估。结果表明，SHER 帮助 MAGCLA 取得了与单一策略相当的学习效率，且 MAGCLA 方法在不同任务中具有更好的泛化性。相较于基线的多智能体与单智能体方法，所训练策略在机器人故障测试中具有更高的适应性。
引用
@article{arxiv.2210.05767,
title = {A Multi-Agent Approach for Adaptive Finger Cooperation in Learning-based In-Hand Manipulation},
author = {Lingfeng Tao and Jiucai Zhang and Michael Bowman and Xiaoli Zhang},
journal= {arXiv preprint arXiv:2210.05767},
year = {2023}
}
备注
Submitted to ICRA 2023