通过可微X射线渲染实现术中2D/3D图像配准

手术决策依赖于将快速便携的术中2D图像（如X光片）与高保真度的术前3D参考扫描（如CT）进行对齐。2D/3D图像配准在实践中常常失败：传统的优化方法速度极慢且易陷入局部极小值，而在小数据集上训练的神经网络对新患者无效或需要不切实际的标志点监督。我们提出了DiffPose，一种自监督方法，利用患者特异性模拟和基于可微物理的渲染，在不依赖人工标注数据的情况下实现精确的2D/3D配准。术前，训练一个CNN来回归由术前CT渲染的随机定向合成X光片的位姿。然后，该CNN初始化快速的术中测试时优化，该优化使用可微X射线渲染器来细化解。我们的工作进一步提出了几种基于几何原理的方法，用于从$\mathbf{SE}(3)$采样相机位姿、进行稀疏可微渲染，以及使用测地线和多尺度局部敏感损失在切空间$\mathfrak{se}(3)$中驱动配准。DiffPose在手术数据集上以术中速度实现了亚毫米级精度，比现有无监督方法提高了一个数量级，甚至优于有监督基线。我们的代码可在https://github.com/eigenvivek/DiffPose获取。