统一神经学习与符号推理的脊柱医疗报告生成

脊柱放射学中的自动化医疗报告生成，即给定脊柱医学图像并直接生成放射科医生水平的诊断报告以支持临床决策，是医疗人工智能领域中一个新颖而基础的研究。然而，这是一项极具挑战性的任务，因为它涉及视觉感知与高层推理过程，极为复杂。本文中，我们提出神经-符号学习(NSL)框架，通过统一深度神经学习与符号逻辑推理来进行类人的脊柱医疗报告生成学习。概言之，NSL 框架首先采用深度神经学习模仿人类视觉感知以检测目标脊柱结构的异常。具体地，我们设计了一个对抗图网络，通过将符号图推理模块嵌入生成对抗网络并融入先验领域知识，实现对高复杂性与高变异性脊柱结构的语义分割。NSL 其次进行类人的符号逻辑推理，通过元解释学习实现对所检测异常实体的无监督因果效应分析。NSL 最后将这些目标疾病的发现填入统一模板，成功实现全面的医疗报告生成。在真实临床数据集上应用时，一系列实证研究表明其在脊柱医疗报告生成上的能力，并显示我们的算法在脊柱结构检测上显著超越现有方法。这些表明其作为助力计算机辅助诊断的临床工具的潜力。