面向医学视觉语言模型的 Prompt-Aware 自适应弹性权重Consolidation用于持续学习
多媒体
2025-12-23 v2 计算机视觉与模式识别
摘要
医学AI系统在临床应用中面临灾难性遗忘，当模型必须在保持先前诊断能力的同时学习新的成像协议时。这一挑战尤其针对必须在不同成像模态之间保持复杂跨模态对齐的医学视觉语言模型。我们引入Prompt-Aware Adaptive Elastic Weight Consolidation（PA-EWC），一种新颖的持续学习方法，通过提示引导的参数专门化来解决灾难性遗忘。该方法系统地将模型参数按其在处理视觉-描述、空间引导和医学语义信息方面发挥作用进行分类，使关键知识获得针对性保护，同时允许适应新的临床要求。PA-EWC结合自适应Fisher信息计算与梯度稳定性分析，基于医学术语密度开发加权复杂度指标。在五个医学成像数据集（Kvasir-SEG、ISIC 2018、CheXlocalize、BUSI、CAMUS）上进行评估，代表着内窥镜、皮肤科、放射科和超声等不同模态。实验结果表明，PA-EWC相较于基线方法将灾难性遗忘降低了最高可达17.58%，在胸部X光病灶定位和结肠息肉分割方面分别实现了4.30%和6.06%的性能提升。
引用
@article{arxiv.2511.20732,
title = {Prompt-Aware Adaptive Elastic Weight Consolidation for Continual Learning in Medical Vision-Language Models},
author = {Ziyuan Gao and Philippe Morel},
journal= {arXiv preprint arXiv:2511.20732},
year = {2025}
}
备注
Accepted by 32nd International Conference on MultiMedia Modeling (MMM 2026)