利用联合分布损失函数在卷积网络中多任务学习时序联结以同步识别手术视频中的器械与阶段
图像与视频处理
2019-05-28 v2 计算机视觉与模式识别
机器学习
摘要
手术工作流分析对于理解手术阶段的起始与持续以及各阶段中单个器械的使用十分重要。它有利于临床质量控制，并有助于医院管理者了解手术规划。手术中采集的视频通常可用于此任务。当前，卷积神经网络（CNN）与循环神经网络（RNN）的组合被广泛用于视频分析，不仅限于手术视频。在本文中，我们提出一种多任务学习框架，使用 CNN 后接双向长短期记忆（Bi-LSTM）来学习封装前向与后向时序依赖。此外，指示与某阶段相关联器械集合的联合分布被用作学习过程中的附加损失，以纠正任何预测中它们的共现。使用 Cholec80 数据集进行实验评估。我们报告器械与阶段识别的平均精度均值（mAP）分别为 0.99 和 0.86，高于该领域已有最优方法。
引用
@article{arxiv.1905.08315,
title = {Multitask Learning of Temporal Connectionism in Convolutional Networks using a Joint Distribution Loss Function to Simultaneously Identify Tools and Phase in Surgical Videos},
author = {Shanka Subhra Mondal and Rachana Sathish and Debdoot Sheet},
journal= {arXiv preprint arXiv:1905.08315},
year = {2019}
}
备注
15 pages, 8 figures, 5th MedImage Workshop of 11th Indian Conference on Computer Vision, Graphics and Image Processing, Hyderabad, India, 2018