面向机器人辅助食管切除的预训练注意力模型实时识别基准测试
计算机视觉与模式识别
2024-12-19 v2 人工智能
摘要
食管癌是全球最常见的癌症类型之一。传统上采用开放式食管切除术治疗，但近年来，机器人辅助 minimally 侵入性食管切除术（RAMIE）已成为一种有前景的替代方案。然而，对于初学型外科医生而言，机器人辅助手术存在挑战，因为他们常常会丧失空间定位能力。计算机辅助解剖结构识别在提高手术导航方面具有潜力，但该领域的研究仍有限。本研究开发了一个用于 RAMIE 的语义分割综合数据集，收录了目前为止最大规模的重要解剖结构和外科器械。处理这一多样化类别组 presents 挑战，包括类别不平衡以及对复杂结构（如神经节）的识别。本研究旨在理解当前最先进算法在该新型数据集和问题上的挑战和局限性。因此，我们对八个实时深度学习模型进行基准测试，使用两个预训练数据集进行评估。我们评估了传统和注意力机制网络，假设注意力机制网络能更好地捕获全局模式，解决因血液或其他组织遮挡等问题。基准测试包括我们的 RAMIE 数据集和公开的 CholecSeg8k 数据集， enables 对手术分割任务进行全面评估。我们的发现表明，使用语义分割数据集 ADE20k 进行预训练比使用 ImageNet 进行预训练更有效。此外，注意力机制模型优于传统卷积神经网络，其中 SegNeXt 和 Mask2Former 在 Dice 评分上取得更高成绩，Mask2Former 在平均对称表面距离上也表现突出。
引用
@article{arxiv.2412.03401,
title = {Benchmarking Pretrained Attention-based Models for Real-Time Recognition in Robot-Assisted Esophagectomy},
author = {Ronald L. P. D. de Jong and Yasmina al Khalil and Tim J. M. Jaspers and Romy C. van Jaarsveld and Gino M. Kuiper and Yiping Li and Richard van Hillegersberg and Jelle P. Ruurda and Marcel Breeuwer and Fons van der Sommen},
journal= {arXiv preprint arXiv:2412.03401},
year = {2024}
}
备注
Accepted for presentation at the SPIE Medical Imaging Conference, 2025