RE-tune: 面向多标签胸部X光分类的生物医学视觉-语言模型的增量式微调
人工智能
2024-10-24 v1
摘要
本文介绍RE-tune，一种在增量学习场景下微调预训练多模态生物医学视觉-语言模型(VLM)以进行多标签胸部疾病诊断的新方法。RE-tune冻结骨干网络，仅在VLM的图像和文本编码器之上训练简单的适配器。通过为疾病设计正负文本提示，我们利用大型语言模型的能力来引导训练轨迹。我们在三种现实的增量学习场景中评估RE-tune：类别增量、标签增量和数据增量。我们的结果表明，生物医学VLM是天然的持续学习者，并能防止灾难性遗忘。RE-tune不仅实现了准确的多标签分类结果，而且优先考虑患者隐私，并以其卓越的计算效率脱颖而出，使其非常适合在现实医疗环境中广泛采用。
引用
@article{arxiv.2410.17827,
title = {RE-tune: Incremental Fine Tuning of Biomedical Vision-Language Models for Multi-label Chest X-ray Classification},
author = {Marco Mistretta and Andrew D. Bagdanov},
journal= {arXiv preprint arXiv:2410.17827},
year = {2024}
}
备注
Accepted for publication at Medical Imaging meets NeurIPS (NeurIPS23)