用于胸部X光报告生成的变分主题推断
计算机视觉与模式识别
2021-07-16 v1 机器学习
图像与视频处理
摘要
自动化医学影像报告生成有望减轻临床工作负担并辅助诊断。近期研究表明，深度学习模型可成功地为自然图像生成描述。然而，由于不同放射科医生因专业与经验差异所写报告的多样性和不确定性，从医学数据中学习颇具挑战。为应对这些挑战，我们提出用于自动报告生成的变分主题推断。具体而言，我们引入一组主题作为潜变量，通过在潜空间中对齐图像与语言模态来引导句子生成。这些主题在条件变分推断框架中被推断，每个主题负责报告中一个句子的生成。此外，我们采用视觉注意力模块，使模型能关注图像中不同位置并生成更具信息量的描述。我们在两个基准（即Indiana U. Chest X-rays和MIMIC-CXR）上进行了大量实验。结果表明，我们提出的变分主题推断方法可生成新颖报告而非仅复制训练所用报告，同时在标准语言生成指标上取得与最先进方法相当的性能。
引用
@article{arxiv.2107.07314,
title = {Variational Topic Inference for Chest X-Ray Report Generation},
author = {Ivona Najdenkoska and Xiantong Zhen and Marcel Worring and Ling Shao},
journal= {arXiv preprint arXiv:2107.07314},
year = {2021}
}
备注
To be published in the International Conference on Medical Image Computing and Computer Assisted Intervention 2021