具有相关性损失的多任务循环卷积网络用于手术视频分析
计算机视觉与模式识别
2019-07-16 v1 机器学习
图像与视频处理
摘要
手术器械存在检测与手术阶段识别是手术视频分析中两个基础且具有挑战性的任务，也是现代手术室各种应用中非常重要的组成部分。尽管在临床实践中由于手术过程定义明确，这两个分析任务高度相关，但大多数先前方法将它们分开处理，未充分利用其关联性。本文中，我们提出一种新方法，通过开发具有相关性损失的多任务循环卷积网络（MTRCNet-CL）来利用它们的关联性，同时提升两个任务的性能。具体而言，我们提出的MTRCNet-CL模型具有端到端架构，包含两个分支，它们共享较早的特征编码器以提取通用视觉特征，同时拥有各自面向特定任务的较高层。鉴于时间信息对阶段识别至关重要，我们探索使用长短期记忆（LSTM）来建模阶段识别分支中的序列依赖关系。更重要的是，设计了一种新颖且有效的相关性损失，通过最小化两个分支预测的分歧，对每帧视频中器械存在与阶段识别之间的关联性进行建模。通过相互利用低层特征共享与高层预测关联，我们的MTRCNet-CL方法能在很大程度上促进两个任务间的交互，从而互为裨益。在大型手术视频数据集（Cholec80）上的大量实验证明了我们所提方法的优异性能，一致大幅超越SOTA方法（例如，器械存在检测的mAP为89.1%对比81.0%，阶段识别的F1得分为87.4%对比84.5%）。代码可在我们的项目网站上找到。
引用
@article{arxiv.1907.06099,
title = {Multi-Task Recurrent Convolutional Network with Correlation Loss for Surgical Video Analysis},
author = {Yueming Jin and Huaxia Li and Qi Dou and Hao Chen and Jing Qin and Chi-Wing Fu and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:1907.06099},
year = {2019}
}
备注
Minor Revision at Medical Image Analysis