基于器械-组织交互混合监督学习的外科动作三元组检测
计算机视觉与模式识别
2023-07-20 v1
摘要
外科动作三元组将器械-组织交互描述为（器械、动词、目标）组合，从而支持对外科场景活动和流程的细致分析。本工作聚焦于外科动作三元组检测，该任务比传统三元组识别更具挑战性但更精确，因其包含联合的（1）外科器械定位与（2）识别与每个定位器械相关的外科动作三元组。由于缺少空间三元组标注，三元组检测极为复杂。我们分析了器械空间标注的数量如何影响三元组检测，并观察到由于与动词和目标错误关联的风险，精确的器械定位并不能保证更好的三元组检测。为解决这两项任务，我们提出了一个两阶段网络 MCIT-IG，意为多类器械感知 Transformer-交互图（Multi-Class Instrument-aware Transformer-Interaction Graph）。我们网络的 MCIT 阶段将目标的逐类嵌入建模为附加特征，以降低三元组错误关联的风险。此外，IG 阶段构建二部动态图来建模器械与目标之间作为动词的交互。我们采用混合监督学习策略，结合用于 MCIT 的弱目标存在标签和用于 IG 的伪三元组标签来训练网络。我们观察到，以目标嵌入补充最少量的器械空间标注可带来更好的三元组检测。我们在 CholecT50 数据集上评估模型，并在器械定位和三元组检测上均展现出改进性能，登顶 MICCAI 2022 的 CholecTriplet 挑战赛排行榜。
引用
@article{arxiv.2307.09548,
title = {Surgical Action Triplet Detection by Mixed Supervised Learning of Instrument-Tissue Interactions},
author = {Saurav Sharma and Chinedu Innocent Nwoye and Didier Mutter and Nicolas Padoy},
journal= {arXiv preprint arXiv:2307.09548},
year = {2023}
}
备注
Accepted at MICCAI, 2023. Project Page: https://github.com/CAMMA-public/mcit-ig