Medical-VLBERT：基于交替学习的COVID-19 CT报告生成医学视觉语言BERT
计算机视觉与模式识别
2021-08-19 v2 计算与语言
摘要
包括计算机断层扫描(CT)或胸部X光(CXR)在内的医学影像技术被广泛用于辅助COVID-19诊断。由于人工书写报告通常过于耗时，迫切需要一个能自动且即时生成医学报告的更智能辅助医疗系统。本文中，我们提出使用医学视觉语言BERT (Medical-VLBERT) 模型识别COVID-19扫描中的异常，并基于检测到的病灶区域自动生成医学报告。为生成更准确的医学报告并最小化视觉与语言差异，该模型采用含知识预训练与迁移两步骤的交替学习策略。具体而言，知识预训练步骤记忆来自医学文本的知识，而迁移步骤通过观察医学图像将所获知识用于专业医学句子生成。实践中，针对COVID-19病例的自动医学报告生成，我们构建了一个包含来自中国广州暨南大学第一附属医院与中国珠海中山大学附属第五医院的368条中文医学发现与1104张胸部CT扫描的数据集。此外，为缓解COVID-19训练样本不足，我们的模型先在大规模中文CX-CHR数据集上训练，再迁移至COVID-19 CT数据集进一步微调。实验结果表明，Medical-VLBERT在中文COVID-19 CT数据集与CX-CHR数据集的术语预测与报告生成上均达到了最先进性能。中文COVID-19 CT数据集可从 https://covid19ct.github.io/ 获取。
引用
@article{arxiv.2108.05067,
title = {Medical-VLBERT: Medical Visual Language BERT for COVID-19 CT Report Generation With Alternate Learning},
author = {Guangyi Liu and Yinghong Liao and Fuyu Wang and Bin Zhang and Lu Zhang and Xiaodan Liang and Xiang Wan and Shaolin Li and Zhen Li and Shuixing Zhang and Shuguang Cui},
journal= {arXiv preprint arXiv:2108.05067},
year = {2021}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems