聚合长期上下文以学习腹腔镜与机器人辅助手术工作流
计算机视觉与模式识别
2021-05-12 v4 人工智能
摘要
分析手术工作流对于手术辅助机器人理解手术至关重要。在理解完整手术工作流的基础上,机器人能够在术中事件中协助外科医生,例如当外科医生进入特定关键或高风险阶段时发出警告。深度学习技术近来已广泛应用于手术工作流识别。许多现有的时序神经网络模型处理数据中长期依赖的能力有限,而是依赖底层逐帧视觉模型的强劲性能。我们提出了一种新的时序网络结构,利用任务特定的网络表示来收集由充分统计模型(SSM)传播的长期充分统计量。我们在LSTM骨干上实现我们的方法用于手术阶段识别任务,并探索了所传播统计量的若干选择。我们在两个腹腔镜胆囊切除术数据集上展示了优于现有及新颖最先进分割技术的结果:公开可用的Cholec80数据集和MGH100,一个具有更具挑战性与临床意义分割标签的新数据集。
引用
@article{arxiv.2009.00681,
title = {Aggregating Long-Term Context for Learning Laparoscopic and Robot-Assisted Surgical Workflows},
author = {Yutong Ban and Guy Rosman and Thomas Ward and Daniel Hashimoto and Taisei Kondo and Hidekazu Iwaki and Ozanan Meireles and Daniela Rus},
journal= {arXiv preprint arXiv:2009.00681},
year = {2021}
}