创建脊柱手术数字孪生：概念验证
计算机视觉与模式识别
2024-05-24 v2
摘要
手术数字化是创建真实世界手术虚拟副本的过程，也称为手术数字孪生（SDT）。它在教育与培训、手术规划以及手术任务自动化等各个领域具有重要应用。此外，SDT 是机器学习方法的理想基础，能够实现训练数据的自动生成。在本文中，我们提出了一种应用于离体脊柱手术的手术数字化概念验证。所提出的数字化方法侧重于获取和建模整个手术场景的几何结构与外观。我们采用五台 RGB-D 相机对主刀医生进行动态 3D 重建，使用一台高端相机对解剖结构进行 3D 重建，利用一台红外立体相机进行手术器械追踪，并使用一台激光扫描仪对手术室进行 3D 重建及数据融合。我们论证了所提出的方法，讨论了面临的挑战以及原型的进一步扩展。尽管我们的 PoC 部分依赖于人工数据整理，但其高质量和巨大潜力推动了 SDT 创建自动化方法的开发。
引用
@article{arxiv.2403.16736,
title = {Creating a Digital Twin of Spinal Surgery: A Proof of Concept},
author = {Jonas Hein and Frédéric Giraud and Lilian Calvet and Alexander Schwarz and Nicola Alessandro Cavalcanti and Sergey Prokudin and Mazda Farshad and Siyu Tang and Marc Pollefeys and Fabio Carrillo and Philipp Fürnstahl},
journal= {arXiv preprint arXiv:2403.16736},
year = {2024}
}
备注
Accepted for the DCA in MI Workshop @ CVPR 2024. Project page: https://jonashein.github.io/surgerydigitization/