面向手术视频理解的器械-组织交互检测框架
计算机视觉与模式识别
2024-04-02 v1
摘要
器械-组织交互检测任务有助于理解手术活动，对于构建计算机辅助手术系统至关重要，但面临诸多挑战。首先，大多数模型以粗粒度方式表示器械-组织交互，仅关注分类，缺乏自动检测器械和组织的能力。其次，现有工作未充分考虑器械和组织的帧内与帧间关系。在本文中，我们提出将器械-组织交互表示为<器械类别，器械边界框，组织类别，组织边界框，动作类别>五元组，并提出了一个器械-组织交互检测网络（ITIDNet）来检测该五元组，以理解手术视频。具体来说，我们提出了一个片段连续特征（SCF）层，通过利用视频片段中的全局上下文信息对当前帧中的提议关系进行建模，从而增强特征。我们还提出了一个空间对应注意力（SCA）层，通过空间编码将相邻帧之间的提议特征融合。为了推理器械和组织之间的关系，提出了一个时序图（TG）层，其中包含帧内连接以利用同一帧中器械和组织之间的关系，以及帧间连接以对同一实例的时序信息进行建模。为了评估，我们构建了一个白内障手术视频（PhacoQ）数据集和一个胆囊切除术手术视频（CholecQ）数据集。实验结果表明，我们的模型在两个数据集上都优于其他最先进的模型，展现了有前景的性能。
引用
@article{arxiv.2404.00322,
title = {Instrument-tissue Interaction Detection Framework for Surgical Video Understanding},
author = {Wenjun Lin and Yan Hu and Huazhu Fu and Mingming Yang and Chin-Boon Chng and Ryo Kawasaki and Cheekong Chui and Jiang Liu},
journal= {arXiv preprint arXiv:2404.00322},
year = {2024}
}