面向安全结肠镜导航的约束强化学习与形式化验证

柔性内窥镜（FEs）机器人领域已取得显著进展，为减轻患者不适提供了有前景的方案。然而，大多数柔性内窥镜机器人的自主能力有限，导致操作不直观且具挑战性，限制了其在临床环境中的应用。尽管以往研究采用管腔跟踪实现自主导航，但当内窥镜面对结肠壁存在阻塞与急转弯时，它们无法适应。本工作中，我们提出一种基于深度强化学习（DRL）的导航策略，消除了对管腔跟踪的需求。然而，DRL 方法的使用带来安全风险，因为它们未考虑所采取动作的潜在危险。为保障安全，我们利用约束强化学习（CRL）方法将策略限制于预定义的安全机制内。此外，我们提出一种模型选择策略，利用形式化验证（FV）在部署前选取完全安全的策略。我们在虚拟结肠镜环境中验证所提方法，并报告在 300 个训练策略中，我们识别出 3 个完全安全的策略。我们的工作表明，CRL 结合通过 FV 的模型选择，可提升手术应用中机器人行为的鲁棒性与安全性。