基于屏蔽多智能体强化学习的连续体操纵器安全控制
机器人学
2021-06-16 v1 人工智能
多智能体系统
摘要
连续体机器人操纵器正日益被用于微创手术。然而，其非线性行为难以精确建模，尤其在受到外部交互时，可能导致控制性能不佳。在本通讯中，我们研究采用无模型多智能体强化学习（RL），即多智能体深度 Q 网络（MADQN），来控制一个 2 自由度（DoF）缆驱连续体手术操纵器的可行性。在 MADQN 框架中，机器人的控制被表述为一个自由度一个智能体的问题，以提高学习效率。结合一个允许动作集边界动态变化的屏蔽方案，MADQN 实现了高效且重要的是更安全的机器人控制。屏蔽 MADQN 使机器人能够在外部负载、软障碍和刚性碰撞（均为手术操纵器遇到的常见交互场景）下，以亚毫米均方根误差进行点和轨迹跟踪。该控制器进一步被证明在具有高结构非线性的微型连续体机器人中有效，在外部载荷下以亚毫米精度实现轨迹跟踪。
引用
@article{arxiv.2106.07892,
title = {Towards Safe Control of Continuum Manipulator Using Shielded Multiagent Reinforcement Learning},
author = {Guanglin Ji and Junyan Yan and Jingxin Du and Wanquan Yan and Jibiao Chen and Yongkang Lu and Juan Rojas and Shing Shin Cheng},
journal= {arXiv preprint arXiv:2106.07892},
year = {2021}
}
备注
8 pages, 12 figs, 1 table, 2 pseudo-code