基于深度学习的计算机视觉识别与分类机器人辅助手术中的缝合手势
计算机视觉与模式识别
2020-08-28 v1 机器人学
摘要
我们此前的工作对机器人根治性前列腺切除术中膀胱尿道吻合过程中的缝合手势分类进行了研究，并将其与组织撕裂和患者结局相关联。在此，我们训练基于深度学习的计算机视觉（CV）以自动化识别和分类针持尝试中的缝合手势。使用两名独立评分者，我们手动标注了实时缝合视频片段以标记时间点和手势。我们编制了识别（2395 个视频）和分类（511 个视频）数据集来训练 CV 模型，分别产生二类和五类标签预测。网络以每帧原始 RGB 像素以及光流作为输入进行训练。每个模型在 80/20 训练/测试划分上训练。本研究中，所有模型均能可靠预测手势的存在（识别，AUC：0.88）以及手势类型（分类，AUC：0.87），显著优于随机水平。对于手势识别和分类数据集，我们观察到循环分类模型选择（LSTM 对比 convLSTM）对性能无影响。我们的结果展示了 CV 识别特征的能力，这些特征不仅能识别缝合动作，还能区分不同类别的缝合手势。这展示了利用深度学习 CV 迈向未来手术技能评估自动化的潜力。
引用
@article{arxiv.2008.11833,
title = {Deep learning-based computer vision to recognize and classify suturing gestures in robot-assisted surgery},
author = {Francisco Luongo and Ryan Hakim and Jessica H. Nguyen and Animashree Anandkumar and Andrew J Hung},
journal= {arXiv preprint arXiv:2008.11833},
year = {2020}
}
备注
5 figures, 2 tables