DeepDRR：透视引导手术中机器学习的催化剂
医学物理
2018-03-26 v1 计算机视觉与模式识别
摘要
基于机器学习的方法在大多数与诊断放射学相关的学科中均优于竞争方法。然而，介入放射学尚未从深度学习的兴起中获得实质性收益，特别是因为两个原因：1）手术过程中获取的大多数图像从未被存档，因此无法用于学习；2）即使它们可用，由于数据量巨大，标注也将是一个严峻的挑战。在考虑透视引导手术时，真实介入透视的一个有趣替代方案是从 3D 诊断 CT 对手术进行计算机模拟。在这种情况下，标注相对容易且可能随时可用，然而，生成合成数据的适用性取决于正向模型。在这项工作中，我们提出了 DeepDRR，这是一个用于从 CT 扫描快速且逼真地模拟透视和数字射线照相的框架，与深度学习原生的软件平台紧密集成。我们分别在 3D 和 2D 中使用机器学习进行物质分解和散射估计，并结合解析正向投影和噪声注入来实现所需的性能。以骨盆 X 射线图像中的解剖标志检测为例，我们证明了在 DeepDRR 上训练的机器学习模型能够泛化到未见过的临床采集数据，而无需重新训练或领域自适应。我们的结果令人鼓舞，并促进了机器学习在透视引导手术中的确立。
引用
@article{arxiv.1803.08606,
title = {DeepDRR -- A Catalyst for Machine Learning in Fluoroscopy-guided Procedures},
author = {Mathias Unberath and Jan-Nico Zaech and Sing Chun Lee and Bastian Bier and Javad Fotouhi and Mehran Armand and Nassir Navab},
journal= {arXiv preprint arXiv:1803.08606},
year = {2018}
}
备注
MU and JNZ have contributed equally