损失函数与场景表示对单视图透视 X 射线位姿估计中 3D/2D 配准的影响
计算机视觉与模式识别
2025-01-14 v3 机器学习
图像与视频处理
摘要
图像引导手术中的许多任务可归结为位姿估计问题,即选择特定投影以在三维空间中到达目标。本研究首先开发了一个可微投影(DiffProj)渲染框架,用于从锥形束计算机断层扫描(CBCT)或神经场景表示(包括两种新提出的方法:神经调谐断层扫描(NeTT)和掩码神经辐射场(mNeRF))高效计算数字重建放射影像(DRR)并具备自动可微性。随后,我们利用各种候选损失函数通过迭代梯度下降进行位姿估计,这些损失函数量化了合成 DRR 与真实透视 X 射线图像之间的图像差异。与替代损失函数相比,互信息损失函数能显著提升位姿估计精度,因其可有效防止陷入局部最优。使用互信息损失,在包含 50 例患者颅骨的断层 X 射线数据集上进行的位姿估计综合评估表明,在 DiffProj 中采用离散化(CBCT)或神经(NeTT/mNeRF)场景表示在 DRR 外观与位姿估计上性能相当(三维角度误差:均值 3.2{\deg},90% 分位数 3.4{\deg}),尽管后者常带来可观的训练开销与时间。这些发现有助于选择合适方法以提升广泛图像引导介入中透视 X 射线位姿估计的效率与有效性。
引用
@article{arxiv.2308.00214,
title = {The Impact of Loss Functions and Scene Representations for 3D/2D Registration on Single-view Fluoroscopic X-ray Pose Estimation},
author = {Chaochao Zhou and Syed Hasib Akhter Faruqui and Abhinav Patel and Ramez N. Abdalla and Michael C. Hurley and Ali Shaibani and Matthew B. Potts and Babak S. Jahromi and Sameer A. Ansari and Donald R. Cantrell},
journal= {arXiv preprint arXiv:2308.00214},
year = {2025}
}