LapGym——一个用于机器人辅助腹腔镜手术强化学习的开源框架
机器人学
2023-02-21 v1
摘要
强化学习的最新进展增加了将认知辅助和自动化引入机器人辅助腹腔镜手术的前景。然而，算法和方法的进展取决于能够代表与机器人辅助腹腔镜手术相关技能的标准化学习环境的可用性。我们提出了 LapGym，一个用于构建机器人辅助腹腔镜手术强化学习环境的框架，该框架模拟了手术任务带来的挑战，以及 sofa_env，一个包含 12 个环境的多样化套件。受手术训练的启发，这些环境被组织成 4 个赛道：空间推理、可变形物体操作与抓取、解剖和线操作。每个环境都是高度可参数化的，以增加难度，从而为新算法提供了很高的性能上限。我们使用近端策略优化来为无模型强化学习算法建立基线，研究了若干环境参数对任务难度的影响。最后，我们表明许多环境和参数配置反映了强化学习研究中众所周知的开放问题，使研究人员能够在手术背景下继续探索这些基本问题。我们的目标是为进一步发展用于机器人辅助腹腔镜手术的强化学习提供一个具有挑战性的标准环境套件，最终帮助实现认知手术机器人的全部潜力。LapGym 可通过 GitHub 公开访问。
引用
@article{arxiv.2302.09606,
title = {LapGym -- An Open Source Framework for Reinforcement Learning in Robot-Assisted Laparoscopic Surgery},
author = {Paul Maria Scheikl and Balázs Gyenes and Rayan Younis and Christoph Haas and Gerhard Neumann and Martin Wagner and Franziska Mathis-Ullrich},
journal= {arXiv preprint arXiv:2302.09606},
year = {2023}
}