基于对比学习预训练的胸部X光报告生成代表性图像特征提取
计算机视觉与模式识别
2023-01-10 v2 机器学习
摘要
医学报告生成是一项具有挑战性的任务，因为它耗时且需要经验丰富的放射科医生的专业知识。医学报告生成的目标是准确捕捉并描述影像所见。先前的工作在不同领域的大型数据集上预训练其视觉编码神经网络，无法在特定医学领域中学习通用视觉表示。在本工作中，我们提出了一种医学报告生成框架，该框架使用对比学习方法来预训练视觉编码器，且不需要额外的元信息。此外，我们采用肺部分割作为对比学习框架中的增强方法。该分割引导网络聚焦于编码肺区域内的视觉特征。实验结果表明，所提出的框架在定量和定性上均提升了生成医学报告的性能与质量。
引用
@article{arxiv.2209.01604,
title = {Representative Image Feature Extraction via Contrastive Learning Pretraining for Chest X-ray Report Generation},
author = {Yu-Jen Chen and Wei-Hsiang Shen and Hao-Wei Chung and Ching-Hao Chiu and Da-Cheng Juan and Tsung-Ying Ho and Chi-Tung Cheng and Meng-Lin Li and Tsung-Yi Ho},
journal= {arXiv preprint arXiv:2209.01604},
year = {2023}
}