KiUT：用于放射学报告生成的知识注入 U-Transformer
计算机视觉与模式识别
2023-06-21 v1 计算与语言
摘要
放射学报告生成旨在从 X 射线图像自动生成临床准确且连贯的段落，从而减轻放射科医生的报告书写重负。尽管各种图像描述方法在自然图像领域已展现卓越性能，但生成医学图像的准确报告需要包括视觉、语言和医学术语在内的多模态知识。我们提出知识注入 U-Transformer（KiUT），以学习多级视觉表示，并利用上下文与临床知识自适应提炼信息用于词预测。具体而言，设计了一种编码器与解码器间的 U 型连接架构来建模不同模态间的交互。并构建了症状图与注入式知识蒸馏器以辅助报告生成。在实验上，我们在两个广泛使用的基准数据集 IU-Xray 和 MIMIC-CXR 上优于最先进的方法。进一步的实验结果证明了我们架构的优势以及注入知识的互补增益。
引用
@article{arxiv.2306.11345,
title = {KiUT: Knowledge-injected U-Transformer for Radiology Report Generation},
author = {Zhongzhen Huang and Xiaofan Zhang and Shaoting Zhang},
journal= {arXiv preprint arXiv:2306.11345},
year = {2023}
}