使用强化学习在da Vinci研究套件上学习自主外科灌注和抽吸

灌注-抽吸过程是 minimally invasive surgery (MIS) 中常见的程序，用于冲洗和清理手术场域。在此过程中，外科医生首先将通常为盐水的液体灌注到手术场景中进行冲洗和稀释污染物，然后抽吸手术场域中的液体。尽管最近的进展显示在应用强化学习 (RL) 自动化手术子任务方面取得了有前景的成果，但针对液体相关任务的自动化研究仍较少。本文探索了灌注-抽吸程序中两个步骤的自动化，并训练了两个基于视觉的 RL 代理人独立完成灌注和抽吸。为实现这一目标，开发了一个用于创建模拟外科机器人学习环境和训练代理人的平台，并为灌注和抽吸构建了两个模拟学习环境，具备视觉逼真的流体渲染功能。通过技术手段如域随机化 (DR) 和精心设计的奖励函数，在模拟器中训练了两个代理人并迁移到实际环境。对两个代理人的单独评估显示实际应用效果令人满意。在约5克污染物的初始量下，灌注代理最终实现平均剩余2.21克。与之比较，人工全手动操作结果为1.90克剩余。抽吸代理在两个试验组中分别实现了2.64克和2.24克的液体剩余，初始液体分别超过20克和30克。完全自主的灌注-抽吸试验将容器中的污染物从约5克降至平均2.42克，尽管由于未抽吸的残余液体导致总重量剩余为4.40克。项目的更多信息可在 https://tbs-ualberta.github.io/CRESSim/ 查看。