MeLo：低秩适配在医学图像诊断中优于微调
计算机视觉与模式识别
2024-07-23 v2
摘要
基于 transformer 架构开发计算机辅助诊断（CAD）模型的常见做法通常是从 ImageNet 预训练权重进行微调。然而，随着大规模预训练的发展和缩放定律的实践，Vision Transformers（ViT）已变得庞大得多，医学影像领域难以使用。此外，在真实场景中，由于存储空间有限和模型切换耗时等问题，多个 CAD 模型的部署可能很麻烦。为应对这些挑战，我们提出一种新方法 MeLo（Medical image Low-rank adaptation，医学图像低秩适配），它以轻量方式开发用于多个临床任务的单一 CAD 模型。该方法采用低秩适配而非资源密集的微调。通过固定 ViT 模型的权重并仅添加小型低秩插件，我们仅使用少量可训练参数便在不同成像模态的多种诊断任务上取得了有竞争力的结果。具体而言，我们提出的方法使用约 0.17% 的可训练参数，在四个不同的医学成像数据集上取得了与全微调 ViT 模型相当的性能。此外，MeLo 仅增加约 0.5MB 存储空间，并允许在部署和推理中实现极快的模型切换。我们的源代码和预训练权重可在我们的网站（https://absterzhu.github.io/melo.github.io/）获取。
引用
@article{arxiv.2311.08236,
title = {MeLo: Low-rank Adaptation is Better than Fine-tuning for Medical Image Diagnosis},
author = {Yitao Zhu and Zhenrong Shen and Zihao Zhao and Sheng Wang and Xin Wang and Xiangyu Zhao and Dinggang Shen and Qian Wang},
journal= {arXiv preprint arXiv:2311.08236},
year = {2024}
}
备注
IEEE International Symposium on Biomedical Imaging (ISBI 2024)