SurgIRL：基于递增强化学习实现外科自动化的终身学习
机器人学
2024-09-25 v1 机器学习
摘要
外科自动化具有巨大的潜力，旨在提高手术结果和可及性。最近的研究使用强化学习来学习自动化不同手术任务的策略。然而，这些策略是独立开发的，当任务发生变化时复用性有限，在机器学习解决多个任务时会更加耗时。受人类外科医生积累经验的方式启发，我们通过外科递增强化学习 (SurgIRL) 训练外科自动化策略。SurgIRL 旨在 (1) 通过参考外部策略（知识）获取新技能，以及 (2) 累积和复用这些技能，以逐步解决多个未见任务（递增学习）。我们的 SurgIRL 框架包括三个主要组成部分。首先，我们定义了一个包含异构策略的可扩展知识集合，这些策略对手术任务可能有所帮助。然后，我们提出了一种知识包容注意力网络 (Knowledge Inclusive Attention Network) 结合最大覆盖探索 (mAximum Coverage Exploration)，即 KIAN-ACE，以在探索过程中最大化知识集合的覆盖率，从而提高学习效率。最后，我们基于 KIAN-ACE 开发了递增学习管道，以累积和复用所学知识，依次解决多个手术任务。我们的仿真实验显示，KIAN-ACE 能分别或递增地学习十个手术任务。我们还在 da Vinci Research Kit (dVRK) 上评估了所学策略，证明了成功的仿真到现实迁移。
引用
@article{arxiv.2409.15651,
title = {SurgIRL: Towards Life-Long Learning for Surgical Automation by Incremental Reinforcement Learning},
author = {Yun-Jie Ho and Zih-Yun Chiu and Yuheng Zhi and Michael C. Yip},
journal= {arXiv preprint arXiv:2409.15651},
year = {2024}
}