基于强化学习的受限环境中毫尺度机器人切换控制器
机器人学
2023-05-02 v2 系统与控制
系统与控制
摘要
本工作提出了一种基于强化学习的切换控制机制，用于在存在干扰的情况下，自主地驱动铁磁物体（代表毫尺度机器人）绕过障碍物在受限环境中运动。当主动控制必不可少且直接操控可能带来危险时，该机制可用于引导物体（例如胶囊内窥镜、药物颗粒群）穿越复杂环境。所提出的控制方案由一种由两个子控制器实现的切换控制架构组成。第一个子控制器旨在利用机器人的逆运动学解，在抗干扰的同时对环境中的待携带铁磁颗粒进行搜索。第二个子控制器使用定制的 rainbow 算法控制机械臂（即 UR5 机器人），以将铁磁颗粒通过受限环境携带至期望位置。对于定制的 Rainbow 算法，采用了隐式分位数网络（IQN）算法中的分位数 Huber 损失和 ResNet。所提出的控制器首先在实时物理仿真引擎（PyBullet）中进行训练与测试。随后，训练好的控制器被迁移至 UR5 机器人，在真实场景中远程运输铁磁颗粒，在 30 次随机生成轨迹的试验中取得了 98.86% 的成功率，证明了该方法在现实应用中的可行性。此外，本文还研究并比较了两种经典路径规划方法——吸引子动力学（Attractor Dynamics）与扩展快速扩展随机树（ERRT）执行方法——与基于强化学习的方法。结果表明，所提出的基于强化学习的算法性能可与所测试的经典路径规划器相媲美，且在动态环境中部署时更具鲁棒性。
引用
@article{arxiv.2111.13969,
title = {Reinforcement Learning-based Switching Controller for a Milliscale Robot in a Constrained Environment},
author = {Abbas Tariverdi and Ulysse Côté-Allard and Kim Mathiassen and Ole J. Elle and Håvard Kalvøy and Ørjan G. Martinsen and Jim Tørresen},
journal= {arXiv preprint arXiv:2111.13969},
year = {2023}
}
备注
Published in IEEE Transactions on Automation Science and Engineering (2023). 17 pages, 18 figures