解剖结构可能是您所需的一切：预测手术中的行动计划
计算机视觉与模式识别
2025-02-03 v2 人工智能
摘要
手术指导可以通过多种方式实现。在神经外科中，空间指导和方向通常通过引用术前 MRI 扫描的神经导航系统实现。最近，越来越多关注通过分析工具（如内镜）中的视频 feed 来提供实时指导。现有方法，包括解剖结构检测、方向反馈、阶段识别和视觉问答，主要集中于帮助外科医生评估当前手术场景。本工作旨在提供更细粒度的指导，即预测手术器械的轨迹，从而回答“下一步该做什么”。为此，我们提出了一种模型，不仅利用手术器械的历史位置，还整合了解剖特征。重要的是，我们不依赖器械轨迹的显式 ground truth标签，而是通过检测模型在包含绿索手术视频的综合数据集中检测解剖结构和器械来生成 ground truth。通过分析解剖结构与器械运动之间的相互作用并预测未来器械运动，我们表明解剖特征在解决这一具有挑战性的任务中是宝贵资产。迄今为止，本工作是首次针对手动手术尝试解决此类问题。
引用
@article{arxiv.2501.18011,
title = {Anatomy Might Be All You Need: Forecasting What to Do During Surgery},
author = {Gary Sarwin and Alessandro Carretta and Victor Staartjes and Matteo Zoli and Diego Mazzatenta and Luca Regli and Carlo Serra and Ender Konukoglu},
journal= {arXiv preprint arXiv:2501.18011},
year = {2025}
}