基于卷积神经网络的腹腔镜工作流无监督时间上下文学习
计算机视觉与模式识别
2017-02-14 v1
摘要
计算机辅助手术(CAS)旨在在正确时刻为外科医生提供正确类型的协助。此类辅助系统在腹腔镜手术中尤为相关，其中CAS可以缓解外科医生面临的一些缺点。对于许多辅助功能，例如在适当时间显示肿瘤位置或建议下一步准备什么器械，分析手术工作流是前提条件。由于腹腔镜干预通过内窥镜进行，视频信号是用于工作流分析的明显传感器模态。腹腔镜中基于图像的工作流分析任务，如阶段识别、技能评估、视频索引或自动注释，需要视频帧之间的时间区分。通常使用基于计算机视觉的方法从先前看到的数据泛化。训练此类方法需要大量标注数据。标注手术数据需要专家知识，因此收集足够数量的数据困难、耗时且并非总是可行。在本文中，我们通过提出一种无监督方法来训练卷积神经网络(CNN)以在时间基础上区分腹腔镜视频帧，从而解决此问题。我们以规则间隔从324个未标注的腹腔镜干预中提取视频帧，得到约220万张图像的数据集。从该数据集中，我们提取同一视频中的图像对，并训练CNN确定其时间顺序。为解决此问题，CNN必须提取与理解腹腔镜工作流相关的特征。此外，我们证明此类CNN可适用于手术工作流分割。我们在公开可用的7例胆囊切除术和9例结直肠干预数据集上进行了基于图像的工作流分割。
引用
@article{arxiv.1702.03684,
title = {Unsupervised temporal context learning using convolutional neural networks for laparoscopic workflow analysis},
author = {Sebastian Bodenstedt and Martin Wagner and Darko Katić and Patrick Mietkowski and Benjamin Mayer and Hannes Kenngott and Beat Müller-Stich and Rüdiger Dillmann and Stefanie Speidel},
journal= {arXiv preprint arXiv:1702.03684},
year = {2017}
}