MedPEFT-CL：基于医学语义适配器和双向记忆整合的双相参数高效持续学习
计算机视觉与模式识别
2025-11-25 v1
摘要
医学视觉语言分割模型在适应新解剖结构时会遭受灾难性遗忘，传统重新训练方式受限于临床部署。尽管持续学习方法已用于各种应用，但针对医学视觉语言任务的持续学习方法仍有待深入研究。我们提出 MedPEFT-CL，一种基于 CLIPSeg 的参数高效持续学习框架，旨在高效学习新任务并保留旧知识，通过双相架构实现。我们的双相架构包括自适应学习相位，采用语义相似性驱动的适配器分配和基于提示相似性分析的医学任务参数高效微调；以及知识整合相位，采用双向 Fisher 记忆协调。形成一个强化循环：整合引导回放优先级，而新任务提供提升保留策略的具挑战性样本。我们的主要贡献包括：（1）一种语义驱动的适配器分配机制，使新医学任务的高效学习成为可能；（2）一种双模态 LoRA 适配，显著减少可训练参数，同时保持跨模态学习；（3）双向 Fisher 记忆协调，防止先前医学任务的灾难性遗忘。广泛的实验表明，该框架在多样化医学数据集上在最小参数开销下实现了卓越的遗忘抑制和性能保持，适用于医学视觉语言场景下的持续学习。
引用
@article{arxiv.2511.17668,
title = {MedPEFT-CL: Dual-Phase Parameter-Efficient Continual Learning with Medical Semantic Adapter and Bidirectional Memory Consolidation},
author = {Ziyuan Gao},
journal= {arXiv preprint arXiv:2511.17668},
year = {2025}
}
备注
Accepted by WACV 2026 (round 2)