基于精简强化学习的机器人手术
机器人学
2021-05-04 v1 机器学习
摘要
随着手术机器人日益普及，将复杂直接人工操作的部分负担自动化变得越来越可行。无模型强化学习（RL）是实现可泛化自动手术性能的一个有前景的方向，但缺乏高效且真实的学习环境减缓了进展。在本文中，我们描述为 da Vinci 技能模拟器添加强化学习支持，该训练模拟器在世界范围内用于让外科医生学习和演练技术技能。我们成功教会了基于 RL 的智能体在模拟器环境中使用图像或状态数据执行子任务。据我们所知，这是首次在手术机器人环境中从视觉数据教导基于 RL 的智能体。此外，我们使用一个我们称为混合批量学习（HBL）的易于实现的系统来解决 RL 的样本低效问题，有效地向 Q 学习过程添加了第二个长期回放缓冲。此外，这使我们能够从使用更易的任务（从状态学习）收集的图像中引导学习。我们表明 HBL 显著减少了我们的学习时间。
引用
@article{arxiv.2105.01006,
title = {Robotic Surgery With Lean Reinforcement Learning},
author = {Yotam Barnoy and Molly O'Brien and Will Wang and Gregory Hager},
journal= {arXiv preprint arXiv:2105.01006},
year = {2021}
}