基于视频的开放手术缝合技能全自动评估

本研究的目标是开发可靠的新型开放手术缝合模拟系统，用于在资源有限或家庭环境中培训医学生。具体而言，我们基于简易网络摄像头视频数据开发了用于工具与手部定位以及识别二者交互的算法，并计算运动指标以评估手术技能。二十五名参与者使用我们的模拟器完成了多项缝合任务。YOLO 网络被修改为多任务网络，用于工具定位和工具-手交互检测。这是通过拆分 YOLO 检测头使其以极小的计算运行时间增加支持两项任务来实现的。此外，基于系统输出计算了运动指标。这些指标包括时间与路径长度等传统指标，以及评估参与者持具技术的新指标。双任务网络性能与两个独立网络相近，而计算负载仅略大于单个网络。此外，运动指标在专家与新手中表现出显著差异。虽然视频采集是微创手术的 essential 组成部分，但其并非开放手术的内在组成部分。因此，需要专注于开放手术视频特有挑战的新算法。本研究中，开发了双任务网络以解决定位任务与手-工具交互任务。该双网络可轻松扩展为多任务网络，可能有助于具有多层图像并评估这些不同层之间交互的场景。