PromptMRG：用于医学报告生成的诊断驱动提示
计算机视觉与模式识别
2024-01-15 v2 计算与语言
摘要
自动医学报告生成（MRG）具有重要的研究价值，因为它有潜力减轻放射科医生撰写报告的沉重负担。尽管近期取得了进展，但由于需要精确的临床理解和疾病识别，准确的MRG仍然具有挑战性。此外，疾病的不平衡分布使这一挑战更加突出，因为罕见疾病在训练数据中代表性不足，使其诊断性能不可靠。为应对这些挑战，我们提出了用于医学报告生成的诊断驱动提示（PromptMRG），这是一种新颖的框架，旨在以诊断感知提示为指导来提高MRG的诊断准确性。具体而言，PromptMRG基于编码器-解码器架构，并带有额外的疾病分类分支。在生成报告时，分类分支的诊断结果被转换为token提示以显式引导生成过程。为了进一步提高诊断准确性，我们设计了跨模态特征增强，其通过利用预训练CLIP的知识从数据库中检索相似报告来辅助查询图像的诊断。此外，基于每种疾病的个体学习状态对分类分支应用自适应logit调整损失，解决了疾病不平衡问题，克服了文本解码器无法操控疾病分布的障碍。在两个MRG基准上的实验显示了所提方法的有效性，其在两个数据集上均获得了最先进的临床效能表现。代码可在 https://github.com/jhb86253817/PromptMRG 获取。
引用
@article{arxiv.2308.12604,
title = {PromptMRG: Diagnosis-Driven Prompts for Medical Report Generation},
author = {Haibo Jin and Haoxuan Che and Yi Lin and Hao Chen},
journal= {arXiv preprint arXiv:2308.12604},
year = {2024}
}
备注
Accepted to AAAI 2024