用于多模态无监督全身 PET 异常检测的跨注意力 Transformer

癌症是一种高度异质性的疾病，可发生在人体几乎任何部位。18F-氟脱氧葡萄糖是一种常用于检测癌症的成像方式，因其高灵敏度和对代谢活动模式的清晰可视化。然而，由于癌症高度异质，训练通用判别性癌症检测模型具有挑战性，数据可用性和疾病复杂性常被视为限制因素。无监督异常检测模型已被提出作为一种可能的解决方案。这些模型学习组织的健康表征，并通过预测偏离健康常态的情况来检测癌症，这需要能够准确学习器官与其成像模式之间长程交互且具有高表达能力的模型。此类特性恰由 transformer 满足，其已通过在正常数据上训练在无监督异常检测中取得最先进结果。本工作在此方法上扩展，通过跨注意力引入 transformer 的多模态条件化，即由配对 CT 提供解剖学参考。使用 294 个全身 PET/CT 样本，我们表明我们的异常检测方法具有鲁棒性，并能在正常训练数据不可用的情形下实现准确的癌症定位结果。此外，我们在样本外数据上展示了该方法的有效性，展现了该方法在有限训练数据下的泛化能力。最后，我们提出将模型不确定性与一种新的核密度估计方法结合，并表明与经典的基于残差的异常图相比，其提供了临床和统计上显著的改进。总体而言，相对于领先的最先进替代方案展示了更优性能，引起了人们对这些方法潜力的关注。