仿真驱动训练的视觉 Transformer 实现 X 射线图像中金属分割
图像与视频处理
2022-03-18 v1 计算机视觉与模式识别
摘要
在 X 射线放射摄影的若干图像采集与处理步骤中，获知金属植入物的存在及其精确位置极为有益（例如剂量调节、图像对比度调整）。另一将受益于精确金属分割的应用是基于二维 X 射线投影的锥束计算机断层扫描（CBCT）。由于金属的高衰减，三维 X 射线采集中会出现严重伪影。CBCT 投影中的金属分割通常作为金属伪影避免与抑制算法的先决条件。由于高质量临床训练的生成为一持续挑战，本研究提出基于 CT 数据集结合自行设计的计算机辅助设计（CAD）植入物生成仿真 X 射线图像，并利用卷积神经网络（CNN）与视觉 Transformer（ViT）进行金属分割。模型测试在取自标本扫描的精确标注 X 射线测试数据集上进行。基于 CNN 编码器的网络如 U-Net 在尸体测试数据上性能有限，平均 dice 系数低于 0.30，而具有双解码器的金属分割 Transformer（MST-DD）在该分割任务上表现出高鲁棒性与泛化能力，平均 dice 系数为 0.90。我们的研究表明，基于 CAD 模型的数据生成具有高灵活性，或可成为克服临床数据采样与标注短缺问题的一条途径。此外，MST-DD 方法在仿真数据训练情形下生成了更可靠的神经网络。
引用
@article{arxiv.2203.09207,
title = {Simulation-Driven Training of Vision Transformers Enabling Metal Segmentation in X-Ray Images},
author = {Fuxin Fan and Ludwig Ritschl and Marcel Beister and Ramyar Biniazan and Björn Kreher and Tristan M. Gottschalk and Steffen Kappler and Andreas Maier},
journal= {arXiv preprint arXiv:2203.09207},
year = {2022}
}