面向手术机器人的开源强化学习环境
机器人学
2020-01-28 v2
摘要
强化学习（RL）是一种用于人工智能系统解决各种复杂问题的机器学习框架。近年来，在解决具有挑战性的游戏和较小领域问题（包括简单但非特定的机器人操纵与抓取任务）方面取得了大量成功。RL 的快速成功部分归因于 RL 界通力合作，基于如 OpenAI 的 Gym 等通用开源环境模拟器，从而加速开发并在不同最先进策略间进行合理比较。在本文中，我们旨在通过提出首个面向手术机器人的开源强化学习环境（称为 dVRL[3]{dVRL 见 https://github.com/ucsdarclab/dVRL}）来搭建 RL 与手术机器人界之间的桥梁。通过所提出的在功能上等价于 Gym 的 RL 环境，我们展示了在手术机器人问题上轻松原型化并实现最先进 RL 算法，以期为手术中的辅助、协作或重复性任务引入自主机器人精度与准确性。学习到的策略还可成功迁移至真实机器人。最后，将 dVRL 与学术机构中活跃使用的 40 多个国际 da Vinci Surgical Research Kit 网络结合，我们认为 dVRL 能使广泛的手术机器人界充分利用强化学习中的最新策略，并使不懂手术机器人的 RL 科学家能够测试并开发可解决自主手术中现实、高影响挑战的新算法。
引用
@article{arxiv.1903.02090,
title = {Open-Sourced Reinforcement Learning Environments for Surgical Robotics},
author = {Florian Richter and Ryan K. Orosco and Michael C. Yip},
journal= {arXiv preprint arXiv:1903.02090},
year = {2020}
}
备注
7 pages, 7 Figures