基于动作三元组的内镜视频中器械-组织交互识别
图像与视频处理
2022-04-04 v1 计算机视觉与模式识别
机器学习
摘要
手术活动识别是开发手术室情境感知决策支持系统的重要组成部分。在本工作中，我们致力于识别细粒度活动，将其建模为表示器械活动的动作三元组<器械, 动词, 目标>。为此，我们引入了一个新的腹腔镜数据集 CholecT40，该数据集由公开数据集 Cholec80 中的 40 个视频组成，其中所有帧均使用 128 个三元组类别进行了标注。此外，我们提出了一种直接从视频数据中识别这些三元组的方法。该方法依赖于一个名为类激活引导(Class Activation Guide, CAG)的模块，该模块利用器械激活图来引导动词和目标的识别。为了对同一帧中多个三元组的识别进行建模，我们还提出了一个可训练的 3D 交互空间(3D Interaction Space)，用于捕捉三元组各组成部分之间的关联。最后，我们通过在 CholecT40 上与基线方法进行多次消融实验和对比，证明了这些贡献的重要性。
引用
@article{arxiv.2007.05405,
title = {Recognition of Instrument-Tissue Interactions in Endoscopic Videos via Action Triplets},
author = {Chinedu Innocent Nwoye and Cristians Gonzalez and Tong Yu and Pietro Mascagni and Didier Mutter and Jacques Marescaux and Nicolas Padoy},
journal= {arXiv preprint arXiv:2007.05405},
year = {2022}
}
备注
13 pages, 4 figures, 6 tables. Accepted and to be published in MICCAI 2020