基于逆强化学习的机械血栓取栓中导管与导线自动导航

目的：探索在机械血栓取栓（MT）中利用逆强化学习（IRL）实现导管和导线自动导航的可行性，以提升内科手术的安全性和效果，缩短操作时间，降低操作员辐射暴露。将远程操作机器人集成进可扩大及时应急MT等关键时间敏感程序的访问。虽然强化学习在内科导航方面显示出潜力，但缺乏奖励信号的挑战仍未解决。本研究探讨了使用IRL从专家演示中推断奖励函数，以实现MT血管内自动导航的可行性。方法：本研究构建了一个基于仿真的MT导航训练与评估环境。我们使用IRL从专家导航导线和导管时的人类行为中推断奖励函数。我们采用软演员-评论家方法训练不同奖励函数的模型，并对其在仿真中的性能进行比较。结果：我们证明了使用IRL实现导航的可行性。在评估单设备（导线）与双设备（导管和导线）跟踪时，两种方法均取得了95%和96%的高成功率。然而，双设备跟踪能够模仿专家行为。在采用通过奖励塑形获得的奖励函数训练时，达到了100%的成功率和22.6秒的手术时间，优于稠密奖励函数（96%，24.9秒）和IRL推导的奖励函数（48%，59.2秒）。结论：我们通过IRL为MT等内科干预导航做出了贡献，尤其是MT。结果凸显了使用奖励塑形训练模型的潜力，为提高MT的可及性和精度提供了有前景的途径。我们设想未来的研究可将该方法扩展到多种解剖结构，以提高其通用性。