通过低秩专家混合专化基础模型用于综合头颈 CT 分析
计算机视觉与模式识别
2026-03-03 v1
摘要
大规模数据集上预训练的基础模型显示出强大的迁移学习能力；然而，其针对复杂多标签诊断任务——如综合性头颈 CT 病灶检测——的适应仍未得到充分研究。标准的参数高效微调方法如 LoRA 在病灶类型上施加均匀适应，可能限制了对多样化医学病灶的性能。我们提出了低秩专家混合 (Mixture of Low-Rank Experts, MoLRE) 框架，将 LoRA 扩展为多个专业化低秩适配器和无监督软路由。该方法通过少于 0.5% 的额外参数且无需显式病灶监督，实现条件特征适应。我们在六个最先进的医学影像基础模型上进行了 MoLRE 的全面基准测试，这些模型覆盖 2D 和 3D 架构、通用领域、医学领域以及针对头颈 CT 的特定预训练，并涵盖参数规模从 7 百万到 4.31 亿不等。使用超过 7 万例无对比度头颈 CT 扫描，标注了 75 种病灶，包括出血、脑梗死、创伤、肿瘤病灶、结构异常及慢性改变等。我们的实验在所有模型上均显示出一致的性能提升。提升幅度差异显著：通用和医学领域模型显示出最大的改进 (DINOv3-Base: 提升 4.6%；MedGemma: 提升 4.3%)，而 3D CT 专业化或非常大型模型显示出较为温和的提升 (提升 0.2-1.3%)。MoLRE 与 MedGemma 的组合实现了最高的平均检测 AUC 为 0.917。这一发现突显了在目标临床任务上进行系统性基准测试的重要性，因为预训练领域、架构和模型规模在非显著的方式下相互作用。
引用
@article{arxiv.2603.00675,
title = {Specializing Foundation Models via Mixture of Low-Rank Experts for Comprehensive Head CT Analysis},
author = {Youngjin Yoo and Han Liu and Bogdan Georgescu and Yanbo Zhang and Sasa Grbic and Michael Baumgartner and Thomas J. Re and Jyotipriya Das and Poikavila Ullaskrishnan and Eva Eibenberger and Andrei Chekkoury and Uttam K. Bodanapally and Savvas Nicolaou and Pina C. Sanelli and Thomas J. Schroeppel and Yvonne W. Lui and Eli Gibson},
journal= {arXiv preprint arXiv:2603.00675},
year = {2026}
}