稀疏专家反馈训练机器人超声声学员
机器人学
2024-09-24 v1 人工智能
计算机视觉与模式识别
摘要
超声声学因其提供无创、无辐射且实时成像等优势而广泛应用于临床干预和诊断。然而，由于需要操作员具备大量训练与专业技能，应用受限。机器人超声声学（RUS）提供了可行的解决方案，但要达到人类水平的熟练程度仍具有挑战。已探索RUS中的学习演示（Learning from Demonstrations, LfD）方法，该方法从离线演示数据集中学习策略先验以编码专家超声声学员的心智模型。然而，迄今为止尚未探索在RUS训练中积极参与专家（即Coaching）。已知Coaching可提高人类训练的效率和性能。本文提出一种用于RUS的Coaching框架以提升其性能。该框架将DRL（自监督练习）与稀疏专家反馈结合。DRL采用基于 off-policy Soft Actor-Critic（SAC）网络，奖励基于图像质量评估。专家的Coaching建模为部分可观测马尔可夫决策过程（POMDP），根据专家纠正更新策略参数。phantom上的验证研究表明，Coaching可提高学习速度25%，高质量图像获取量提升74.5%。
引用
@article{arxiv.2409.02337,
title = {Coaching a Robotic Sonographer: Learning Robotic Ultrasound with Sparse Expert's Feedback},
author = {Deepak Raina and Mythra V. Balakuntala and Byung Wook Kim and Juan Wachs and Richard Voyles},
journal= {arXiv preprint arXiv:2409.02337},
year = {2024}
}
备注
Accepted in IEEE Transactions on Medical Robotics and Bionics (TMRB) 2024