面向增强医学影像叙述生成的 FODA-PG：自适应区分正常与异常属性
计算机视觉与模式识别
2024-09-09 v1 人工智能
摘要
自动医学影像叙述生成旨在通过直接从放射学图像生成准确的临床描述来减轻放射科医生的工作负担。然而，医学图像中细微的视觉细微差别和领域特定术语构成了与通用图像描述任务相比的显著挑战。现有方法常忽视正常与异常发现之间的关键区别，导致性能不佳。本文提出了 FODA-PG，即一种 novel Fine-grained Organ-Disease Adaptive Partitioning Graph 框架，通过领域自适应学习来解决这些限制。FODA-PG 通过将疾病相关属性基于其临床意义和位置分为distinct disease-specific 和 disease-free 类别来构建放射学发现的细粒度图表示。这种自适应分区使我们的模型能够捕捉正常与病理状态之间的细微差异，从而减轻数据偏差的影响。通过将这种细粒度语义知识整合到强大的基于变换器的架构中，并为其有效性提供严格的数学论证，FODA-PG 生成准确且临床连贯的报告，具有增强的泛化能力。在 IU-XRay 和 MIMIC-CXR benchmark 上进行的大量实验表明，我们的方法优于最先进的方法，凸显了医学报告生成中领域自适应的重要性。
引用
@article{arxiv.2409.03947,
title = {FODA-PG for Enhanced Medical Imaging Narrative Generation: Adaptive Differentiation of Normal and Abnormal Attributes},
author = {Kai Shu and Yuzhuo Jia and Ziyang Zhang and Jiechao Gao},
journal= {arXiv preprint arXiv:2409.03947},
year = {2024}
}