基于能力的多模态课程学习用于医学报告生成
计算与语言
2023-04-12 v3 计算机视觉与模式识别
机器学习
摘要
医学报告生成任务旨在生成医学图像的长而连贯的描述，近来吸引了日益增长的研究兴趣。不同于通用图像描述任务，医学报告生成对数据驱动的神经模型更具挑战性。这主要由于1）严重的数据偏置与2）有限的医学数据。为缓解数据偏置并充分利用可用数据，我们提出一种基于能力的多模态课程学习框架（CMCL）。具体而言，CMCL模拟放射科医师的学习过程并以逐步方式优化模型。首先，CMCL估计每个训练样本的难度并评估当前模型的能力；其次，CMCL考虑当前模型能力选择最合适的一批训练样本。通过迭代上述两步，CMCL可逐步提升模型性能。在公开IU-Xray和MIMIC-CXR数据集上的实验表明，CMCL可融入现有模型以提升其性能。
引用
@article{arxiv.2206.14579,
title = {Competence-based Multimodal Curriculum Learning for Medical Report Generation},
author = {Fenglin Liu and Shen Ge and Yuexian Zou and Xian Wu},
journal= {arXiv preprint arXiv:2206.14579},
year = {2023}
}
备注
Accepted by ACL 2021 (Oral)