少即是多：参数高效微调推动医学视觉基础模型发展
计算机视觉与模式识别
2024-01-23 v1
摘要
参数高效微调（PEFT）最初为利用预训练大语言模型而开发，最近已成为在计算机视觉任务中执行迁移学习的有效方法。然而，PEFT 在医学视觉基础模型上的有效性尚不明确，仍有待探索。作为概念验证，我们对将 PEFT 应用于胸部放射影像基础模型进行了详细的实证研究。具体而言，我们深入研究了代表性 PEFT 方法 LoRA，并在三个成熟的胸部放射影像数据集上，将其与全参数微调（FFT）在两个自监督放射影像基础模型上进行了比较。我们的结果表明，在使用不到 1% 可调参数的情况下，LoRA 在 18 个迁移学习任务中的 13 个上优于 FFT，最高提升 2.9%。将 LoRA 与基础模型相结合，我们在一系列数据高效学习任务上建立了新的最优水平，例如在 NIH ChestX-ray14 数据集上使用 1% 标记数据获得了 80.6% 的 AUROC 分数。我们希望这项研究能引起社区对在医学成像任务中使用 PEFT 进行迁移学习的更多关注。代码和模型可在 https://github.com/RL4M/MED-PEFT 获取。
引用
@article{arxiv.2401.12215,
title = {Less Could Be Better: Parameter-efficient Fine-tuning Advances Medical Vision Foundation Models},
author = {Chenyu Lian and Hong-Yu Zhou and Yizhou Yu and Liansheng Wang},
journal= {arXiv preprint arXiv:2401.12215},
year = {2024}
}
备注
Technical report