基于像素级域适应的视觉强化学习仿真到真实迁移——用于机器人辅助手术的可变形物体操控
机器人学
2024-06-11 v1
摘要
自动化有望将外科医生的心理负担从视觉-运动控制转向高层决策。强化学习在学习复杂视觉-运动策略方面显示出巨大的潜力，尤其是在可以以低成本收集大量样本的仿真环境中。核心挑战在于学习在仿真中训练的策略能在真实世界中部署，从而克服仿真-真实鸿沟。本文基于像素级域适应构建的视觉仿真到真实迁移管线，证明其在可变形物体操控任务上的有效性。我们选择组织 retract 任务，因其在精确癌症手术中的临床意义重要。经过在仿真环境中训练的策略在使用原始RGB图像的真实机器人系统上无需重新训练即可实现50%的组织 retract 成功率。此外，我们的仿真到真实迁移方法对具体任务无任何假设，无需配对图像。本工作引入了视觉仿真到真实迁移在外科领域进行可变形物体操控的首个成功应用，标志着认知外科机器人向临床转化迈出了重要一步。
引用
@article{arxiv.2406.06092,
title = {Sim-To-Real Transfer for Visual Reinforcement Learning of Deformable Object Manipulation for Robot-Assisted Surgery},
author = {Paul Maria Scheikl and Eleonora Tagliabue and Balázs Gyenes and Martin Wagner and Diego Dall'Alba and Paolo Fiorini and Franziska Mathis-Ullrich},
journal= {arXiv preprint arXiv:2406.06092},
year = {2024}
}