通过知识增强的多模态预训练迈向医疗通用人工智能

医疗通用人工智能（MAGI）使一个基础模型能够解决不同的医疗任务，这在医疗领域非常实用。它可以通过在不同任务间充分共享医疗知识，显著减少对大量任务特定数据的需求。然而，由于用有限且复杂的医疗数据设计强泛化模型的挑战，大多数现有方法倾向于开发任务特定模型。为向 MAGI 迈出一步，我们提出一种称为医疗知识增强多模态预训练（MOTOR）的新范式。在 MOTOR 中，我们以互补方式结合两类基础医疗知识，即通用知识与特定知识，以提升通用预训练过程。因此，具备全面基础知识的基础模型可以从预训练放射学数据中学习紧凑表示，以实现更好的跨模态对齐。MOTOR 将理解与生成——一个 AI 系统的两类核心智能——统一到单个医疗基础模型中，以灵活处理更多样化的医疗任务。为实现全面评估并促进进一步研究，我们构建了一个包含广泛下游任务的医疗多模态基准，例如胸部 X 光报告生成和医疗视觉问答。在我们的基准上的大量实验表明，MOTOR 通过简单的任务导向适配取得了有前景的结果。可视化显示，注入的知识成功突出了医疗数据中的关键信息，展示了 MOTOR 优异的可解释性。我们的 MOTOR 成功模拟了人类从完成“医学生”到加速成为“专科医生”的过程。我们相信我们的工作在实现 MAGI 方面迈出了重要一步。