用于脊椎癌症检测与放射学分级的上下文感知 Transformer
图像与视频处理
2022-06-28 v1 计算机视觉与模式识别
摘要
本文提出了一种用于涉及椎骨分析的医学影像问题的基于 Transformer 的新型模型架构。它考虑了此类模型在 MR 图像中的两种应用：(a) 脊柱转移瘤及相关的椎体骨折与转移性脊髓压迫的检测，(b) 椎间盘常见退行性变的放射学分级。我们的贡献如下：(i) 我们提出了 Spinal Context Transformer（SCT），一种适用于医学影像中重复解剖结构（如椎体（VBs））分析的深度学习架构。与以往相关方法不同，SCT 将可用所有影像模态中观察到的所有椎体一并考虑，基于脊柱其余部分及所有可用影像模态的上下文对每个椎体作出预测。(ii) 我们将该架构应用于一项新颖且重要的任务：从多序列脊柱 MR 扫描中检测脊柱转移瘤及相关的脊髓压迫与椎体骨折/塌陷。这使用了从自由文本放射学报告中提取的标注，而非定制标注。然而，所得模型在测试集上与椎体级别的放射科医生定制标注表现出高度一致性。(iii) 我们还将 SCT 应用于一个已有问题：腰椎 MR 扫描中椎间盘（IVDs）常见退行性变的放射学分级。我们表明，通过考虑图像中椎体的上下文，SCT 相较于先前发表的模型提高了多种分级的准确率。
引用
@article{arxiv.2206.13173,
title = {Context-Aware Transformers For Spinal Cancer Detection and Radiological Grading},
author = {Rhydian Windsor and Amir Jamaludin and Timor Kadir and Andrew Zisserman},
journal= {arXiv preprint arXiv:2206.13173},
year = {2022}
}
备注
Pre-print of paper accepted to MICCAI 2022. 15 pages, 7 figures