PointVoxelFormer -- 恢复点云网络用于 3D 医学成像

点云是医学成像中表示体数据积的高效方式。首先，它们不占据空旷空间的资源，从而避免了基于体素的 3D 卷积神经网络 (CNN) 在分辨率和视场范围之间进行权衡的困境，导致模型更小且更稳健。其次，它们提供了无模态依赖的解剖表面和形状表示，以避免通用几何模型中的领域差距。再者，它们消除了可识别的患者专属信息，可能在公开数据共享时提高隐私保护水平。尽管具有上述优势，点云在医学成像领域仍未得到广泛探索，主要被体积 3D CNN 和视觉变换器所取代。迄今为止，缺乏针对方法选择的比较性研究，以及数据集的系统构建。空间上相邻点的相互作用和信息交换——例如通过 k 近邻图中的边卷积或点变换——对于学习几何有意义的特征至关重要，但可能导致计算瓶颈。本文提出一种混合方法，将点操作与中间可微分光栅化和密集局部 CNN 结合。对于可 deformable 点云配准，我们设计一种早期融合方案，将两种点云在共同参考系中的坐标特征进行整合，并配合一种逆一致的双步骤配准架构。我们的在三个不同数据集上的大量实验表明，PointVoxelFormer 方法实现了极小模型，相较于边卷积和其他几何深度学习最新模型，在速度上提升数倍、内存降低约 5 倍、配准误差降低超过 30%。