医学图像分类器训练何时需要放射科报告？
计算机视觉与模式识别
2025-10-30 v2
摘要
用于训练机器学习模型的医学图像常伴随放射科报告，报告包含丰富的专家标注。然而，将报告作为临床预测输入却需要专业放射科医生的及时人工工作。这自然引出一个问题：在训练医学图像分类器时，报告何时可被利用以提高仅使用图像的分类效果？现有研究局限于评估预训练的图像表示通过微调来预测诊断标签，这些标签常从报告中提取，忽略了与文本关系较弱的标签任务。为填补这一空白，我们系统研究了在诊断和预后任务（例如12个月复发）以及不同训练集规模下，放射科报告在预训练和微调中的使用方式。我们的发现表明：（1）在标签在文本中得到充分表达的下游分类任务中，利用报告进行预训练有益，但在文本表达不足的情况下进行预训练（尤其是通过显式的图像-文本对齐）可能适得其反；（2）利用报告进行微调可带来显著提升，在某些情况下甚至比预训练方法产生更大影响。这些结果为在训练医学图像分类器时如何利用特权文本数据提供了可操作的指导，同时也凸显了当前研究中的不足。
引用
@article{arxiv.2510.24385,
title = {When are radiology reports useful for training medical image classifiers?},
author = {Herman Bergström and Zhongqi Yue and Fredrik D. Johansson},
journal= {arXiv preprint arXiv:2510.24385},
year = {2025}
}