基于高效探索的演示引导强化学习用于手术机器人任务自动化
机器人学
2023-02-21 v1 人工智能
机器学习
摘要
手术机器人任务自动化有潜力提高手术效率。近期基于强化学习（RL）的方法为手术自动化提供了可扩展的解决方案，但在无先验知识的情况下解决任务通常需要大量的数据收集。这一问题被称为探索挑战，可通过向 RL 智能体提供专家演示来缓解。然而，如何有效利用演示数据提高探索效率仍是一个开放挑战。在本工作中，我们提出演示引导探索（DEX），一种高效的强化学习算法，旨在利用专家演示克服手术自动化中的探索问题。为有效利用演示，我们的方法估计具有更高价值的类专家行为以促进有效交互，并采用非参数回归以在演示数据中未观测到的状态上提供此类引导。在综合手术仿真平台 SurRoL 的 个手术操作任务上的大量实验表明，我们的方法在探索效率和任务成功率上均有显著提升。此外，我们还将学到的策略部署到 da Vinci Research Kit（dVRK）平台，以展示其在真实机器人上的有效性。代码见 https://github.com/med-air/DEX。
引用
@article{arxiv.2302.09772,
title = {Demonstration-Guided Reinforcement Learning with Efficient Exploration for Task Automation of Surgical Robot},
author = {Tao Huang and Kai Chen and Bin Li and Yun-Hui Liu and Qi Dou},
journal= {arXiv preprint arXiv:2302.09772},
year = {2023}
}
备注
Accepted to ICRA 2023