利用真实荧光透视数据的腰椎三维重建域适应策略
计算机视觉与模式识别
2024-08-28 v2
摘要
本研究解决了在骨科手术中采用手术导航的关键障碍，包括时间、成本、辐射和工作流程集成挑战。最近，我们的工作X23D展示了一种仅从少量术中荧光透视图像生成脊柱三维解剖模型的方法。这通过创建直接的术中解剖结构三维重建，消除了对传统基于配准的手术导航的需求。尽管取得了这些进展，X23D的实际应用受到合成训练数据与真实术中图像之间域差距的限制。为此，我们设计了一种新颖的数据采集协议，用于获取由相同视角的合成和真实荧光透视图像组成的配对数据集。利用该数据集，我们通过迁移学习优化了深度学习模型，有效地弥合了合成X射线数据与真实X射线数据之间的域差距。一种新颖的风格迁移机制还允许我们将真实X射线转换为镜像合成域，从而使我们经过计算机模拟训练的X23D模型能够在真实世界场景中实现高精度。我们的结果表明，优化后的模型可以仅从三张术中荧光透视图像快速生成整个腰椎的准确三维重建。它达到了84%的F1分数，与我们之前基于合成数据的研究精度相匹配。此外，计算时间仅为81.1毫秒，我们的方法提供了手术集成所必需的实时能力。通过检查理想的成像设置和视角依赖性，我们进一步证实了该系统在临床环境中的实用性和可靠性。我们的研究标志着术中三维重建迈出了重要一步，为手术规划、导航和机器人技术提供了增强。
引用
@article{arxiv.2401.16027,
title = {Domain adaptation strategies for 3D reconstruction of the lumbar spine using real fluoroscopy data},
author = {Sascha Jecklin and Youyang Shen and Amandine Gout and Daniel Suter and Lilian Calvet and Lukas Zingg and Jennifer Straub and Nicola Alessandro Cavalcanti and Mazda Farshad and Philipp Fürnstahl and Hooman Esfandiari},
journal= {arXiv preprint arXiv:2401.16027},
year = {2024}
}