基于LoRA的对比正则化用于多模态生物医学图像增量学习
机器学习
2025-08-19 v1 人工智能
计算机视觉与模式识别
多媒体
摘要
多模态生物医学图像增量学习（MBIIL）对于处理生物医学领域中多样化的任务和模态至关重要，因为为每种模态或任务单独训练模型会显著增加推理成本。现有的增量学习方法关注单模态内的任务扩展，而MBIIL旨在跨模态增量训练统一模型。MBIIL面临两个挑战：I）在增量更新期间如何保留先前学到的知识？II）如何有效利用从现有模态获取的知识来支持新模态？为解决这些挑战，我们提出MSLoRA-CR，该方法在微调模态特定LoRA模块的同时引入对比正则化以增强模态内知识共享并促进模态间知识分化。我们的方法建立在大视觉语言模型（LVLM）之上，保持预训练模型冻结，同时为每种模态或任务增量适配新的LoRA模块。在生物医学图像增量学习上的实验表明，MSLoRA-CR优于为每种模态单独训练模型的最先进方法以及通用增量学习方法（增量微调LoRA）。具体而言，MSLoRA-CR相比无约束增量学习方法总体性能提升1.88%，同时保持了计算效率。我们的代码公开发布于https://github.com/VentusAislant/MSLoRA_CR。
引用
@article{arxiv.2508.11673,
title = {Contrastive Regularization over LoRA for Multimodal Biomedical Image Incremental Learning},
author = {Haojie Zhang and Yixiong Liang and Hulin Kuang and Lihui Cen and Zhe Qu and Yigang Cen and Min Zeng and Shichao Kan},
journal= {arXiv preprint arXiv:2508.11673},
year = {2025}
}
备注
10 pages, 3 figures, submitted to ACM Multimedia 2025