基于多模态注意力融合的自监督三维患者建模

三维患者身体建模对于智能医疗扫描和手术室中的自动化患者定位的成功至关重要。现有的基于 CNN 的端到端患者建模解决方案通常需要：a) 需要大量相关训练数据的定制化网络设计，覆盖广泛的现实临床场景（例如，患者被床单覆盖），这导致在实际部署中的泛化能力欠佳；b) 昂贵的三维人体模型标注，即需要大量人工工作，导致系统扩展性差。为了解决这些问题，我们提出了一种通用的模块化三维患者建模方法，包括： 具有注意力融合的多模态关键点检测模块，用于二维患者关节定位，以学习互补的跨模态患者身体信息，从而在各种成像（例如 CT、MRI 等）和临床场景（例如严重遮挡）中提高关键点定位的鲁棒性和泛化能力； 自监督三维网格回归模块，该模块不需要昂贵的三维网格参数标注即可进行训练，为临床部署带来直接的成本效益。我们通过在公开数据和临床数据上进行的大量患者定位实验，证明了所提方法的有效性。我们的评估结果在真实临床场景的各种成像模态下均实现了卓越的患者定位性能。