用于细粒度手术活动识别的弱监督时间卷积网络
计算机视觉与模式识别
2023-04-12 v2
摘要
自动识别称为步骤的细粒度手术活动，是智能术中计算机辅助中一项具有挑战性但至关重要的任务。当前基于视觉的活动识别方法的发展严重依赖于大量人工标注数据。这类数据难以生成且耗时，并需要领域特定知识。在本工作中，我们提出使用更粗粒度且更易标注的活动标签（即阶段）作为弱监督，以在更少步骤标注视频的情况下学习步骤识别。我们引入一种步骤-阶段依赖损失来利用该弱监督信号。随后，我们采用以 ResNet-50 为骨干的单阶段时间卷积网络（SS-TCN），从弱标注视频端到端训练，用于时间活动分割与识别。我们在一个由 40 例腹腔镜胃旁路手术组成的大型视频数据集和包含 50 例白内障手术的公开基准 CATARACTS 上广泛评估并展示了所提方法的有效性。
引用
@article{arxiv.2302.10834,
title = {Weakly Supervised Temporal Convolutional Networks for Fine-grained Surgical Activity Recognition},
author = {Sanat Ramesh and Diego Dall'Alba and Cristians Gonzalez and Tong Yu and Pietro Mascagni and Didier Mutter and Jacques Marescaux and Paolo Fiorini and Nicolas Padoy},
journal= {arXiv preprint arXiv:2302.10834},
year = {2023}
}