基于反馈环与放射组学知识增强对比学习的胸片异常分类与定位

构建用于胸片异常分类与定位的高精度预测模型通常需要大量异常的人工标注标签与像素区域(边界框)。然而，获取此类标注尤其是边界框代价高昂。近来，对比学习在利用无标注自然图像生成高度可泛化与判别性特征方面展现出强劲潜力。然而，将其能力拓展至医学图像领域尚待探索且极为非平凡，因为医学图像远不易于数据增广。相反，其先验知识及放射组学特征往往至关重要。为弥补此差距，我们提出一种端到端半监督知识增强对比学习框架，同时执行疾病分类与定位任务。我们框架的关键在于一种专为医学图像定制的独特正采样方法，通过无缝整合放射组学特征作为知识增广。具体而言，我们首先应用图像编码器对胸片分类并生成图像特征。接着利用Grad-CAM高亮胸片的关键(异常)区域(即便未标注)，从中提取放射组学特征。放射组学特征再经由另一专用编码器，作为同一胸片所生成图像特征的正样本。如此，我们的框架构成图像与放射组学模态特征的反馈环以相互强化。二者的对比产生既鲁棒又可解释的知识增强表征。在NIH Chest X-ray数据集上的大量实验表明，我们的方法在分类与定位任务上均优于现有基线。