中文

双平面X射线到3D形状重建的编码器-解码器架构基准测试

图像与视频处理 2023-09-27 v2 计算机视觉与模式识别 机器学习

摘要

已有多种深度学习模型被提出用于从两张正交(双平面)X射线图像重建3D骨骼形状。然而,由于这些模型在不同解剖结构、队列和(通常为私有的)数据集上评估,它们相互之间的比较尚不清楚。此外,双平面X射线到3D骨骼形状重建中常优化的基于图像的分割指标(如 dice 分数)对临床相关参数估计的影响也未知。为推进临床转化,我们提出了一个基准测试框架,评估与真实世界临床场景相关的任务,包括骨折骨骼重建、带植入物骨骼重建、对群体偏移的鲁棒性,以及临床参数估计误差。我们的开源平台提供了 8 种模型(其中许多实现未公开)的参考实现、便于收集和预处理 6 个公共数据集的 API,以及自动临床参数与标志点提取方法的实现。我们使用包含四种不同解剖结构图像的 6 个公共数据集,在同等条件下对 8 种 2D-3D 模型进行了广泛评估。结果表明:捕获全局空间关系的基于注意力的方法在所有解剖结构和数据集上往往表现更好;若不分层报告,临床相关子组上的性能可能被高估;肋骨比股骨、髋部和脊柱明显更难重建;且 dice 分数的提升并不总带来临床相关参数自动估计的相应改善。

关键词

引用

@article{arxiv.2309.13587,
  title  = {Benchmarking Encoder-Decoder Architectures for Biplanar X-ray to 3D Shape Reconstruction},
  author = {Mahesh Shakya and Bishesh Khanal},
  journal= {arXiv preprint arXiv:2309.13587},
  year   = {2023}
}

备注

accepted to NeurIPS 2023