用于手术视频工作流识别的时间记忆关系网络
计算机视觉与模式识别
2021-03-31 v1 人工智能
摘要
自动手术工作流识别是开发手术室中情境感知计算机辅助系统的关键组成部分。以往工作要么以短固定范围时间信息联合建模空间特征，要么分别学习视觉与长时间线索。本文提出一种新颖的端到端时间记忆关系网络（TMRNet），用于将长程与多尺度时间模式相关联以增强当前特征。我们建立一个长程记忆库作为存储丰富辅助信息的记忆单元。通过所设计的时间变化层，辅助线索经多尺度仅时间卷积得到进一步增强。为有效融合两类线索而不干扰时空特征的联合学习，我们引入非局部库算子以注意力方式将过去与现在相关联。就此而言，我们的TMRNet使当前特征得以观测长程时间依赖，并容忍复杂的时间跨度。我们在两个基准手术视频数据集M2CAI挑战数据集与Cholec80数据集上进行了广泛验证。实验结果表明本方法性能优异，持续大幅超越最先进方法（例如，在Cholec80数据集上Jaccard为67.0%对78.9%）。
引用
@article{arxiv.2103.16327,
title = {Temporal Memory Relation Network for Workflow Recognition from Surgical Video},
author = {Yueming Jin and Yonghao Long and Cheng Chen and Zixu Zhao and Qi Dou and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2103.16327},
year = {2021}
}
备注
Accepted at IEEE Transactions on Medical Imaging (IEEE TMI); Code is available at https://github.com/YuemingJin/TMRNet