利用Transformer模型在机器人辅助手术中识别与预测手术手势及轨迹
机器人学
2022-12-06 v1 人工智能
摘要
手术活动识别与预测有助于在许多机器人辅助手术（RAS）应用中提供重要上下文，例如手术进度监测与估计、手术技能评估以及遥操作期间的共享控制策略。Transformer 模型最初为自然语言处理（NLP）开发以建模词序列，很快该方法在通用序列建模任务中广受欢迎。本文中，我们提出将 Transformer 模型新颖地用于三项任务：RAS 期间的手势识别、手势预测与轨迹预测。我们修改原始 Transformer 架构，使其仅利用手术机器人末端执行器的当前运动学数据，便能生成当前手势序列、未来手势序列以及未来轨迹序列估计。我们在 JHU-ISI 手势与技能评估工作集（JIGSAWS）上评估所提模型，并使用留一用户交叉验证（LOUO）以确保结果的可泛化性。我们的模型达到最高 89.3% 手势识别准确率、84.6% 手势预测准确率（提前1秒）以及 2.71mm 轨迹预测误差（提前1秒）。我们的模型在使用仅运动学数据通道的情况下，可与最先进方法媲美并能够超越。该方法可实现近实时的手术活动识别与预测。
引用
@article{arxiv.2212.01683,
title = {Recognition and Prediction of Surgical Gestures and Trajectories Using Transformer Models in Robot-Assisted Surgery},
author = {Chang Shi and Yi Zheng and Ann Majewicz Fey},
journal= {arXiv preprint arXiv:2212.01683},
year = {2022}
}
备注
Accepted at 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2022