RadTex：从文本报告学习高效的放射影像表示
计算机视觉与模式识别
2023-04-10 v2
摘要
使用深度学习对胸部放射影像进行自动分析在提升患者疾病临床诊断方面具有巨大潜力。然而，深度学习模型通常需要大量标注数据才能达到高性能——这常成为医学领域适应的障碍。本文构建了一个数据高效的学习框架，利用放射学报告在有限标注数据（少于1000个样本）下提升医学图像分类性能。具体而言，我们考察图像-描述预训练以学习在更少样本上训练的高质量医学图像表示。在卷积编码器与transformer解码器联合预训练后，我们将学习到的编码器迁移至多种分类任务。在9种病症上平均，我们发现当标注训练数据有限时，我们的模型取得了比ImageNet监督和域内监督预训练更高的分类性能。
引用
@article{arxiv.2208.03218,
title = {RadTex: Learning Efficient Radiograph Representations from Text Reports},
author = {Keegan Quigley and Miriam Cha and Ruizhi Liao and Geeticka Chauhan and Steven Horng and Seth Berkowitz and Polina Golland},
journal= {arXiv preprint arXiv:2208.03218},
year = {2023}
}
备注
Awarded Best Paper at Resource Efficient Medical Image Analysis (REMIA) Workshop, MICCAI 2022