基于逆强化学习的机械栓塞术中导管和导线自主导航

目的：导管和导线的自主导航可提高内窥手术的安全性和有效性，减少操作时间和操作员辐射暴露。将远程操作机器人集成到机械栓塞术（MT）中可扩大其获取紧急时间敏感性程序的范围。强化学习（RL）在内窥导航中显示出潜力，但在没有奖励信号的情况下其应用面临挑战。本研究探讨了在 MT 血管内使用逆 RL（IRL）来利用专家演示实现自主导航的可行性。方法：本研究建立了一个基于仿真的 MT 导航训练和评估环境。我们使用 IRL 从专家在导航导线和导管时的行为中推断奖励函数。我们利用软演员-评论家训练各种奖励函数的模型，并在仿真中对其进行比较。结果：我们证明了使用 IRL 实现导航的可行性。在评估单设备（即导线）与双设备（即导线和导管）跟踪时，两种方法分别取得了 95% 和 96% 的高成功率。然而，双跟踪模式模仿了专家。通过奖励塑形获得的奖励函数训练时，取得了 100% 的成功率和 22.6 秒的操作时间。这超过了稠密奖励函数（96%，24.9 秒）和 IRL 派生奖励函数（48%，59.2 秒）。结论：我们通过运用 IRL 推进了内窥介入导航，特别是 MT 方面的发展。结果凸显了使用奖励塑形训练模型的潜力，为提高 MT 的可及性和精确度提供了有前景的途径。我们设想未来的研究可以将该方法扩展到多种解剖结构以提高通用性。