基于旋转等变 2D/3D 特征匹配的刚性单切片-体积配准
计算机视觉与模式识别
2024-10-25 v1 机器学习
摘要
2D 到 3D 配准是诊断、手术导航、环境理解、机器人导航、自动驾驶或增强现实等任务中的关键步骤。在医学成像中，常需将 2D 图像置于 3D 体积观察中。当前针对刚性单切片在体积内配准的方法受限于姿态初始化、相邻切片堆叠或可靠解剖标志物的要求。本文提出一种自监督的 2D/3D 配准方法，用于将单个 2D 切片匹配到相应的 3D 体积。该方法无需解剖先验条件，例如用于肿瘤图像。它解决了维度差异问题，通过使用群等变 CNN 实现 2D 平面内特征与 3D 体外平面内旋转等变特征之间的对应关系。这些旋转等变特征从 2D 查询切片中提取，并与其 3D 对等物对齐。结果表明，所提出的切片在体积内配准方法在 NSCLC-Radiomics CT 和 KIRBY21 MRI 数据集上具有鲁棒性，在容忍 3 像素误差时， achieving 绝对中位数角度误差小于 2 度，平均匹配特征精度达 89%。
引用
@article{arxiv.2410.18683,
title = {Rigid Single-Slice-in-Volume registration via rotation-equivariant 2D/3D feature matching},
author = {Stefan Brandstätter and Philipp Seeböck and Christoph Fürböck and Svitlana Pochepnia and Helmut Prosch and Georg Langs},
journal= {arXiv preprint arXiv:2410.18683},
year = {2024}
}