用于冠状动脉模型导丝导航的深度强化学习

在治疗冠状动脉斑块的经皮介入中，导丝导航是支架输送的主要操作。在冠状动脉内操控柔性导丝需要大量训练，并且控制操作与导丝运动之间的非线性使得精确操作困难。在此，我们引入一种深度强化学习（RL）框架，用于机器人辅助冠状动脉介入中的自主导丝导航。使用 Rainbow，采用分段学习方法，结合带演示的深度 Q 学习（DQfD）、迁移学习和权重初始化，以确定如何最佳地加速训练。RL 的“状态”被定制为导丝尖端附近的聚焦窗口，并设置子目标以缓解稀疏奖励问题。RL 智能体提升了性能，最终使导丝能够在“稳定”阶段到达所有有效目标。我们的框架为机器人辅助介入的自动化开辟了新方向，为涉及机械疲劳的物理空间中的 RL 提供了指导。