“训练一个、分类一个、教导一个”——面向手术步骤识别的跨手术迁移学习

先前的工作证明了机器学习能够自动从视频中识别手术工作流步骤。然而，这些研究仅聚焦于单一类型的手术。在这项工作中，我们首次分析了四种不同腹腔镜手术的手术步骤识别：胆囊切除术、右半结肠切除术、袖状胃切除术和阑尾切除术。受以Halstedian方法为基础的的传统学徒模型启发，我们将外科智能领域的“看一个、做一个、教一个”改写为“训练一个、分类一个、教一个”。在机器学习中，这种方法常被称为迁移学习。为分析不同腹腔镜手术间迁移学习的影响，我们探索了多种时间序列架构，并考察它们在各目标域上的性能。我们提出了一种新架构——时间序列适配网络（TSAN），一种为手术步骤识别迁移学习优化的架构，并展示了TSAN如何通过在序列排序任务上的自监督学习进行预训练。此类预训练使TSAN能从目标手术少量标注样本中学习新腹腔镜手术类型的工作流步骤。我们提出的架构相较其他可能架构具有更优性能，从腹腔镜胆囊切除术迁移到其他三种手术类型时准确率超过90%。