深度增强且无有限元模型的3D/2D肝脏注册用于腔镜肝 surgery AR
计算机视觉与模式识别
2026-05-22 v2
摘要
在腔镜肝手术中进行的增强现实 (AR) 指导需要对术前3D模型与术中2D视频进行精准注册，但由于部分可见性、镜面反射和组织变形，仍面临较大挑战。现有方法常依赖基于轮廓的刚性初始化和有限元 (FE) 模型进行可变形注册，增加了建模和工程复杂度。我们提出了一种深度增强、无需有限元的3D--2D注册流程，结合稳健的刚性初始化与患者特定的非刚性细化。对于刚性对齐，我们改进了FoundationPose的RefineNet模块，应用于腔镜肝脏场景，利用多类别轮廓图和单目深度进行相对姿态细化。对于可变形对齐，我们从非刚性ICP (NICP) 对应点构建患者特定的统计形变模型，并采用粗到细的L-BFGS-B策略优化姿态和形状参数。在一个公开的临床腔镜肝脏数据集上，所提方法在旨在隔离注册性能的受控手动轮廓设置下，实现了平均目标注册误差 (TRE) 为14.73 mm。消融研究表明，单目深度相对于仅使用轮廓输入能显著改善刚性初始化；肿瘤映射分析指出，良好的表面对齐并不一定导致更低的靶点定位误差。在无真值数据的外部数据集上，该方法产生的叠加效果在定性评估方面具有较好的视觉合理性。这些结果表明，深度增强的姿态细化和无需有限元的统计形变建模为受控的3D--2D肝脏注册提供了有前景的替代方案。
引用
@article{arxiv.2602.17517,
title = {Depth Augmented and FE Free 3D/2D Liver Registration for Laparoscopic Liver AR},
author = {Hanyuan Zhang and Lucas He and Runlong He and Weixi Yi and Abdolrahim Kadkhodamohammadi and Danail Stoyanov and Brian R. Davidson and Evangelos B. Mazomenos and Matthew J. Clarkson},
journal= {arXiv preprint arXiv:2602.17517},
year = {2026}
}