用于显微手术中脑动脉瘤检测的移位窗口 Transformer
计算机视觉与模式识别
2023-03-20 v1
摘要
目的:显微动脉瘤夹闭手术(MACS)具有术中动脉瘤破裂的高风险。在手术视频中自动识别动脉瘤暴露的时刻,将是神经导航的有价值参考点,指示阶段转换,更重要的是标示出破裂高风险时刻。本文介绍包含 16 个手术视频及帧级专家标注的 MACS 数据集,并提出一种用于手术场景理解的学习方法,以识别手术显微镜视场中出现动脉瘤的视频帧。方法:尽管数据集不平衡(80% 无动脉瘤出现,20% 有出现)且未使用显式标注开发,我们展示了基于 Transformer 的深度学习架构(MACSSwin-T、vidMACSSwin-T)在检测动脉瘤并相应分类 MACS 帧上的适用性。我们在多折交叉验证实验中使用独立集,以及在一个含 15 张图像的未见集上对比 10 位人类专家(神经外科医生)来评估所提模型。结果:图像级与视频级方法分别获得平均(跨折)准确率 80.8%(范围 78.5%-82.4%)与 87.1%(范围 85.1%-91.3%),表明模型有效学习了分类任务。对模型类激活图的定性评估显示其定位于动脉瘤实际位置。依据决策阈值不同,MACSWin-T 在未见图像上达到 66.7% 至 86.7% 的准确率,而人类评分者为 82%,呈中等至强相关性。
引用
@article{arxiv.2303.09648,
title = {Shifted-Windows Transformers for the Detection of Cerebral Aneurysms in Microsurgery},
author = {Jinfan Zhou and William Muirhead and Simon C. Williams and Danail Stoyanov and Hani J. Marcus and Evangelos B. Mazomenos},
journal= {arXiv preprint arXiv:2303.09648},
year = {2023}
}