基于分割增强对比表示学习的医学报告生成
计算与语言
2023-12-27 v1 人工智能
摘要
自动化放射学报告生成有潜力改善放射学报告并减轻放射科医生的工作负担。然而，由于医学数据有限且存在数据偏差，医学报告生成任务面临独特的挑战。为了最大化可用数据的效用并减少数据偏差，我们提出了MSCL（医学图像分割与对比学习），该框架利用Segment Anything Model (SAM)分割器官、异常、骨骼等，并能更关注图像中有意义的感兴趣区域（ROI），以获得更好的视觉表示。然后我们引入了一种监督对比损失，在训练时赋予与目标语义相似的报告更大的权重。该损失函数的设计旨在减轻数据偏差的影响，并鼓励模型捕捉医学图像的本质特征，生成高质量的报告。实验结果表明了我们提出模型的有效性，在IU X-Ray公共数据集上取得了最先进的性能。
引用
@article{arxiv.2312.15869,
title = {Medical Report Generation based on Segment-Enhanced Contrastive Representation Learning},
author = {Ruoqing Zhao and Xi Wang and Hongliang Dai and Pan Gao and Piji Li},
journal= {arXiv preprint arXiv:2312.15869},
year = {2023}
}
备注
NLPCC 2023