基于形式化验证的安全强化学习用于自主机器人辅助手术中的组织牵拉
机器人学
2021-09-07 v1
摘要
深度强化学习（DRL）由于在动态环境中学习复杂行为的能力，是自动化重复性手术子任务的可行方案。此类任务自动化可减轻外科医生的认知负荷、提高手术关键环节的精度并减少患者相关并发症。然而，当前 DRL 方法不保证任何安全标准，因为它们在最大化累积奖励时未考虑所执行动作的相关风险。由于这一限制，DRL 在机器人辅助微创手术（MIS）这一安全关键范式中的应用受到限制。本工作中，我们引入一个 Safe-DRL 框架，通过 DRL 训练为手术子任务自动化加入安全约束。我们在一个复现 MIS 多个阶段中常见组织牵拉任务的虚拟场景中验证我们的方法。此外，为评估机械臂的安全行为，我们构建了面向 DRL 方法的形式化验证工具，提供不安全构型的概率。我们的结果表明，形式化分析以高置信度保证安全性，使机器人器械在安全工作空间内操作并避免与其他解剖结构的有害交互。
引用
@article{arxiv.2109.02323,
title = {Safe Reinforcement Learning using Formal Verification for Tissue Retraction in Autonomous Robotic-Assisted Surgery},
author = {Ameya Pore and Davide Corsi and Enrico Marchesini and Diego Dall'Alba and Alicia Casals and Alessandro Farinelli and Paolo Fiorini},
journal= {arXiv preprint arXiv:2109.02323},
year = {2021}
}
备注
7 pages, 6 figures