基于时空动作定位的白内障手术视频相关性检测

在白内障手术中，手术借助显微镜进行。由于显微镜最多仅能供两人实时观看手术，外科训练的主要部分通过使用录制视频开展。为利用视频内容优化训练流程，外科医生需要一种自动相关性检测方法。除基于相关性的检索外，这些结果还可进一步用于白内障手术视频中的技能评估与异常检测。本文提出一个三模块框架，以检测并分类白内障视频中的相关阶段片段。利用空闲帧识别网络，视频被划分为空闲与动作片段。为提升相关性检测性能，使用 Mask R-CNN 在所有帧中检测进行相关手术动作的角膜。包含关于瞳孔纹理与动作的更高分辨率信息、以及来自同一阶段的互补时间信息的时空定位片段被送入相关性检测模块。该模块由四个并行循环 CNN 组成，负责检测与医学专家共同定义的四个相关阶段。结果将被整合以将动作阶段分类为不相关或四个相关阶段之一。实验结果表明，所提方法优于静态 CNN 及不同配置的特征基与端到端循环网络。