提示学习能否惠及放射学报告生成？
计算机视觉与模式识别
2023-09-01 v1
摘要
放射学报告生成旨在自动提供对 MRI 和 X 射线等放射学图像的临床有意义描述。尽管在自然场景图像描述任务上已取得巨大成功，放射学报告生成仍具挑战性且需要先验医学知识。在本文中，我们提出 PromptRRG，一种利用提示学习激活预训练模型并融入先验知识的方法。由于提示学习用于放射学报告生成此前未被探索，我们从考察提示设计入手，并基于不同知识层次对其分类：通用、领域特定与疾病富集提示。此外，我们提出一种自动提示学习机制以缓解人工提示工程的负担。这是首个系统检验提示学习对放射学报告生成有效性的工作。在最大放射学报告生成基准 MIMIC-CXR 上的实验结果表明，我们提出的方法取得了最先进的性能。代码将在录用后公开。
引用
@article{arxiv.2308.16269,
title = {Can Prompt Learning Benefit Radiology Report Generation?},
author = {Jun Wang and Lixing Zhu and Abhir Bhalerao and Yulan He},
journal= {arXiv preprint arXiv:2308.16269},
year = {2023}
}
备注
8 pages with 6 pages supplementary file