任意被试运动下的切片到体变换预测

本文旨在解决基于强度的 2D/3D 配准中的一个基本问题，即最先进图像配准方法有限的捕获范围和对良好初始化的需求。我们提出一种回归方法，学习针对习得的标准图谱坐标系预测任意 2D 图像切片相对于 3D 体数据的旋转与平移。为此，我们利用卷积神经网络（CNNs）学习将 2D 图像切片映射到其 3D 空间中正确位置与朝向的高度复杂回归函数。我们的方法在具有挑战性的成像场景中颇具吸引力，其中显著的被试运动使从 2D 切片数据重建 3D 体数据的性能复杂化。我们在具有极端随机运动的模拟 MRI 脑数据上定量广泛评估了方法的有效性。我们进一步在胎儿 MRI 上展示了定性结果，其中我们的方法被集成到完整的重建与运动补偿流水线中。借助我们的 CNN 回归方法，我们在模拟数据上获得 7mm 的平均预测误差，并在先前方法失败的极年轻胎儿图像上获得令人信服的重建质量。我们进一步讨论了在计算机断层扫描（Computed Tomography）和 X 射线投影上的应用。我们的方法是 2D/3D 初始化问题的通用解。其计算高效，每切片预测时间为几毫秒，适用于实时场景。