基于 Actor-Critic 框架和自监督模仿学习的外科任务自动化
机器人学
2024-09-12 v2
摘要
外科机器人任务自动化最近因其潜在的对医生和患者都有利的作用而引起广泛关注。基于强化学习 (RL) 的方法已在 various 任务上 demonstrate 出提供自动化外科操作的有前景的能力。为了解决探索挑战,可利用专家演示通过模仿学习 (IL) 方法来提高学习效率。然而,此类方法的成功通常依赖于状态和动作标签。不幸的是,动作标签可能难以捕获,或由于需要专家知识而手工标注成本高昂。因此,利用仅包含状态的专家演示来进行学习仍是一个引人注目且开放的问题。本文提出了一种称为 AC-SSIL 的 actor-critic RL 框架,以克服仅有状态演示收集的未知专家策略下的学习挑战。该方法采用称为 SSIL 的自监督 IL 方法,通过检索演示中查询状态的最近邻并利用 actor 网络的引导,有效地将演示状态融入 RL 框架。我们通过在开源外科模拟平台上的实验表明,该方法在 RL 基线上实现显著提升,在表现上与基于动作的 IL 方法相当,这表明该方法在专家演示引导学习场景中的有效性和潜力。
引用
@article{arxiv.2409.02724,
title = {Surgical Task Automation Using Actor-Critic Frameworks and Self-Supervised Imitation Learning},
author = {Jingshuai Liu and Alain Andres and Yonghang Jiang and Xichun Luo and Wenmiao Shu and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:2409.02724},
year = {2024}
}
备注
8 pages,7 figures, 62 conferences