通过医学图像与报告间的交叉注意力改进肺炎定位
图像与视频处理
2021-10-08 v1 计算机视觉与模式识别
摘要
肺炎等疾病的定位与表征是临床流程中的首要步骤，有助于详细临床诊断与后续治疗规划。此外，此类带位置标注的数据集可为深度学习模型用于下游任务提供途径。然而，获取高质量标注在人力和通常所需的领域专业知识上成本高昂。另一方面，医学报告包含大量关于肺炎特征及其位置的信息。本文提出一种新颖的弱监督注意力驱动深度学习模型，在训练时利用医学报告中编码的信息以促进更好的定位。我们的模型还对从医学报告提取并与肺炎相关的属性进行分类以用于监督。分类与定位联合训练，一旦训练完成，该模型可仅使用输入图像进行肺炎的定位与表征。本文使用胸部 X 光数据集探索并分析该模型，并从定性和定量上证明文本信息的引入改善了肺炎定位。我们在两个数据集 MIMIC-CXR 和 Chest X-ray-8 上展示了定量结果，并在 COVID-19 数据集上展示了严重程度表征。
引用
@article{arxiv.2110.03094,
title = {Improving Pneumonia Localization via Cross-Attention on Medical Images and Reports},
author = {Riddhish Bhalodia and Ali Hatamizadeh and Leo Tam and Ziyue Xu and Xiaosong Wang and Evrim Turkbey and Daguang Xu},
journal= {arXiv preprint arXiv:2110.03094},
year = {2021}
}
备注
Published at MICCAI 2021