探索与蒸馏后验及先验知识用于放射学报告生成
计算机视觉与模式识别
2021-06-29 v2 计算与语言
摘要
自动生成放射学报告可改进当前诊断放射学的临床实践。一方面，它能减轻放射科医生撰写报告的沉重负担；另一方面，它能提醒放射科医生注意异常并避免误诊与漏诊。然而，由于严重的视觉与文本数据偏置，该任务对数据驱动的神经网络仍具挑战性。为此，我们提出后验与先验知识探索及蒸馏方法（PPKED）以模仿放射科医生的工作模式：他们首先检视异常区域并为异常区域指派疾病主题标签，然后依赖多年积累的先验医学知识与先验工作经验撰写报告。因此，PPKED 包含三个模块：后验知识探索器（PoKE）、先验知识探索器（PrKE）与多域知识蒸馏器（MKD）。具体而言，PoKE 探索后验知识，提供显式异常视觉区域以缓解视觉数据偏置；PrKE 从先验医学知识图（医学知识）与先验放射学报告（工作经验）中探索先验知识以缓解文本数据偏置。探索到的知识由 MKD 蒸馏以生成最终报告。在 MIMIC-CXR 与 IU-Xray 数据集上的评估表明，我们的方法能够在这两个数据集上超越先前的最先进模型。
引用
@article{arxiv.2106.06963,
title = {Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation},
author = {Fenglin Liu and Xian Wu and Shen Ge and Wei Fan and Yuexian Zou},
journal= {arXiv preprint arXiv:2106.06963},
year = {2021}
}
备注
Accepted by CVPR 2021 (2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR2021))