Swin-X2S: 从二维双视角X射线重建三维形状
计算机视觉与模式识别
2025-01-13 v1 图像与视频处理
摘要
从二维X射线到三维形状的转换具有显著的潜在价值,有助于提高诊断效率和安全性。然而,现有的重建方法常依赖手工特征、人工干预和先验知识,导致形状误差不稳定且增加额外处理成本。本文引入Swin-X2S,一种用于直接从二维双视角正交X射线图像重建三维分段和标记的端到端深度学习方法。Swin-X2S采用编码器-解码器架构:编码器利用二维Swin Transformer进行X射线信息提取,而解码器采用带交叉注意力的三维卷积来整合正交视图的结构特征。引入维度扩展模块以桥接编码器和解码器,确保从二维像素到三维体素的平滑转换。我们通过广泛的定性和定量实验评估了所提出的方法,覆盖九个公开数据集中的四个解剖学部位(femur、髋部、脊柱和肋骨),总计54个类别。在分段和标记指标上,以及在临床实践中关注的临床相关参数上,均观察到与先前方法相比显著的改进,这表明Swin-X2S为临床场景中的解剖学形状重建提供了可行的选项。代码实现已公开:\url{https://github.com/liukuan5625/Swin-X2S}。
引用
@article{arxiv.2501.05961,
title = {Swin-X2S: Reconstructing 3D Shape from 2D Biplanar X-ray with Swin Transformers},
author = {Kuan Liu and Zongyuan Ying and Jie Jin and Dongyan Li and Ping Huang and Wenjian Wu and Zhe Chen and Jin Qi and Yong Lu and Lianfu Deng and Bo Chen},
journal= {arXiv preprint arXiv:2501.05961},
year = {2025}
}