CASOG：用于机器人辅助介入中技能学习的平滑梯度保守Actor-critic方法
机器人学
2023-04-20 v1
摘要
机器人辅助介入已显示出可降低医师辐射暴露并提升临床试验精度。然而，现有血管机器人系统遵循主从控制模式并完全依赖手动指令。本文提出一种新颖的离线强化学习算法——平滑梯度保守Actor-critic（CASOG），以从血管机器人系统上的人类示范中学习操作技能。所提算法保守估计Q函数并平滑卷积层梯度，以应对分布偏移与过拟合问题。此外，为聚焦于复杂操作，具有较大时序差分误差的转移以更高概率被采样。在临床前环境中的对比实验表明，CASOG能够以94.00%的成功率和14.07的平均后退步数将导丝送达目标，表现更接近人类且优于先前的离线强化学习方法。这些结果表明，所提算法有望提升血管机器人系统的自主性。
引用
@article{arxiv.2304.09632,
title = {CASOG: Conservative Actor-critic with SmOoth Gradient for Skill Learning in Robot-Assisted Intervention},
author = {Hao Li and Xiao-Hu Zhou and Xiao-Liang Xie and Shi-Qi Liu and Zhen-Qiu Feng and Zeng-Guang Hou},
journal= {arXiv preprint arXiv:2304.09632},
year = {2023}
}
备注
13 pages, 5 figure, preprint