医学图像分析的领域迁移问题：基于知识先验的教科书式解决方案

尽管深度网络在分析自然图像方面取得了广泛成功，但在医学扫描图像上常会在意外情况下失败。我们聚焦于此挑战，特别关注模型对领域迁移的敏感性，例如来自不同医院采样的数据或受人口学变量（如性别、种族等）影响的医学图像数据，具体包括胸部X光片和皮肤病变图像。在我们的实证研究中，我们发现现有视觉主干网络缺乏适合在此类设置下可靠泛化的架构先验。我们借鉴医学训练的思路，为深度网络提供基于显式医学知识（以自然语言表达）的先验约束。为此，我们提出了知识增强瓶颈模型（Knowledge-enhanced Bottlenecks, KnoBo），这是一类概念瓶颈模型，融合了来自医学教科书或 PubMed 的临床相关因素构成的知识先验。KnoBo 使用检索增强的语言模型设计合适的概念空间，并配合自动训练程序识别这些概念。我们评估了不同知识来源和识别架构在跨 20 个数据集的广泛领域迁移情况。我们的全面评估显示，在两种成像模态下，KnoBo 在受 confounding 影响的数据集上比微调模型平均高出 32.4%。最终的评估表明，PubMed 是构建医学模型降低对领域迁移敏感性的有力资源， 在信息多样性和最终预测性能方面均优于其他资源。