使用增强卷积与循环神经网络监测手术视频中的器械使用
计算机视觉与模式识别
2018-05-08 v2
摘要
本文研究了手术过程中器械使用的自动监测，其在报告生成、手术培训和实时决策支持方面具有潜在应用。考虑了两种手术：最常见的眼科手术——白内障手术，以及最常见的消化外科手术之一——胆囊切除术。器械使用通过显微镜（白内障手术）或内窥镜（胆囊切除术）录制的视频进行监测。遵循最先进的视频分析方案，视频的每一帧由卷积神经网络（CNN）分析，其输出馈入循环神经网络（RNN）以考虑事件之间的时序关系。新颖之处在于这些 CNN 和 RNN 的训练方式。计算复杂性阻碍了“CNN+RNN”系统的端到端训练。因此，CNN 通常首先独立于 RNN 进行训练。这种方法对于手术器械分析显然不是最优的：许多器械彼此非常相似，但通常可以根据过去的事件加以区分。CNN 应被训练为结合时序上下文提取最有用的视觉特征。为实现这一目标，提出了一种新颖的增强策略：通过逐步添加弱分类器（CNN 或 RNN）来同时增强系统的 CNN 和 RNN 部分，这些弱分类器被训练以提高整体分类精度。实验在包含 50 个白内障手术视频的数据集和包含 80 个胆囊切除术视频的数据集上进行。两个数据集均取得了非常好的分类性能：在离线模式（使用过去、现在和未来信息）下，器械使用的平均 ROC 曲线下面积分别为 和 ；在在线模式（仅使用过去和现在信息）下，分别为 和 。
引用
@article{arxiv.1710.01559,
title = {Monitoring tool usage in surgery videos using boosted convolutional and recurrent neural networks},
author = {Hassan Al Hajj and Mathieu Lamard and Pierre-Henri Conze and Béatrice Cochener and Gwenolé Quellec},
journal= {arXiv preprint arXiv:1710.01559},
year = {2018}
}
备注
Accepted for publication in Medical Image Analysis