面向胸部CT筛查的专科导向型通才医学AI

现代医疗记录包含大量来自放射科、心内科和数字病理学的多模态自由文本临床数据与影像数据。充分挖掘此类大数据需要多任务处理；否则，隐匿但重要的方面可能被忽视，从而对临床管理和人群健康产生不利影响。尽管AI在单模态数据的单个任务上取得了显著成功，但由于数据整理与模型架构的双重挑战，开发结合多模态数据以进行多任务的通才医学AI的进展仍相对缓慢。数据挑战涉及在个体患者层面查询和整理多模态结构化与非结构化文本、字母数字，尤其是3D断层扫描数据，以实现实时决策，并在规模上估算人群健康统计。模型挑战要求一种可扩展且自适应的网络架构，以整合多模态数据集用于多样的临床任务。在此，我们提出一种首创的医学多模态-多任务基础模型（M3FM），应用于肺癌筛查及相关任务。在我们整理了一个由49种临床数据类型组成的综合多模态多任务数据集（包含163,725个胸部CT序列和肺癌筛查中涉及的17项医学任务）后，我们开发了一个多模态问答框架作为统一的训练与推理策略，通过自由文本提示协同多模态信息并执行多项任务。M3FM持续优于最先进的单模态任务专用模型，识别出对临床任务有信息价值的多模态数据元素，并能利用小型分布外数据集灵活适应新任务。作为一种专科导向型通才医学AI模型，M3FM为医学其他领域的类似突破铺平了道路，缩小了专科医生与通才之间的差距。