BronchoCopilot：通过多模态强化学习实现自主机器人支气管镜
机器人学
2024-03-05 v1
摘要
支气管镜在肺部疾病的早期诊断和治疗中发挥着重要作用。该过程要求医生操控柔性内窥镜到达远端病灶，尤其是在检查上肺叶气道时需要大量专业知识。随着人工智能和机器人技术的发展，强化学习方法已被应用于介入手术机器人的操控。然而，与利用多模态信息的人类医生不同，当前大多数强化学习方法依赖单一模态，限制了其性能。本文提出BronchoCopilot，一种多模态强化学习智能体，旨在获取自主支气管镜的操作技能。BronchoCopilot特别融合了支气管镜摄像头图像和估计的机器人位姿，旨在具有挑战性的气道环境中实现更高的成功率。我们采用辅助重建任务来压缩多模态数据，并利用注意力机制实现这些数据的高效潜在表示，作为强化学习模块的输入。该框架采用逐步训练和微调的方法来缓解训练困难。在逼真仿真环境中的评估表明，BronchoCopilot通过有效利用多模态信息，在第五代气道中实现了约90%的成功率，且运动一致。此外，它展现出适应不同病例的鲁棒能力。
引用
@article{arxiv.2403.01483,
title = {BronchoCopilot: Towards Autonomous Robotic Bronchoscopy via Multimodal Reinforcement Learning},
author = {Jianbo Zhao and Hao Chen and Qingyao Tian and Jian Chen and Bingyu Yang and Hongbin Liu},
journal= {arXiv preprint arXiv:2403.01483},
year = {2024}
}