面向医学影像预后预测的基础模型和参数高效微调基准测试
计算机视觉与模式识别
2026-01-16 v2 人工智能
摘要
尽管基础模型（FMs）在医学影像领域具有巨大的潜力，但其在预后预测中的应用仍面临数据稀缺、类别不平衡和任务复杂性等挑战，限制了其临床应用。本研究引入首个结构化基准测试，以评估迁移学习策略在预测COVID-19患者结局方面的鲁棒性和效率，与卷积神经网络（CNN）进行比较。目标是系统比较在数据稀缺和类别不平衡现实临床约束下的微调策略，为AI在临床工作流程中的部署提供经验性指导。使用四个公开可用的COVID-19胸部X光数据集，覆盖死亡率、病情严重程度和ICU入院情况，样本量和类别不平衡程度各不相同。使用在ImageNet上预训练的CNN和在通用或生物医学数据集上预训练的FMs，通过完全微调、线性探针和参数高效方法进行适配。模型在完整数据和少样本情境下使用 Matthews相关系数（MCC）和精确召回曲线下面积（PR-AUC）进行评估，采用交叉验证和类别加权损失。CNN进行完全微调在小规模不平衡数据集上表现稳健，而FMs采用参数高效微调（PEFT），特别是LoRA和BitFit，在大型数据集上取得了具竞争力的结果。严重的类别不平衡会损害PEFT性能，而平衡数据则缓解了这一影响。在少样本设置下，FMs的泛化能力有限，线性探针最为稳定。没有单一的微调策略在所有情况下都最优：CNN在低资源场景下仍可靠，而FMs在数据充足时从参数高效方法中受益。
关键词
引用
@article{arxiv.2506.18434,
title = {Benchmarking Foundation Models and Parameter-Efficient Fine-Tuning for Prognosis Prediction in Medical Imaging},
author = {Filippo Ruffini and Elena Mulero Ayllon and Linlin Shen and Paolo Soda and Valerio Guarrasi},
journal= {arXiv preprint arXiv:2506.18434},
year = {2026}
}