编织动态记忆：面向通用医疗基础模型的检索引导式持续学习
计算机视觉与模式识别
2025-12-16 v1
摘要
多模态生物医学视觉语言模型（VLMS）在持续学习（CL）领域展现出巨大的潜力。然而，它们面临核心困境：如何在跨模态的显著领域差异中，同时保持精细的模内特征。为解决这一挑战，我们提出了一个综合性框架。依托我们从 PubMed 科学论文中构建的 1800 万模态综合医疗检索数据库， 我们首次将检索增强生成（RAG）融入持续学习。具体而言，我们采用多模态、多层 RAG 系统，通过动态按需知识检索为模型微调提供实时指导。基于此，我们引入动态知识蒸馏框架。该框架通过动态调节参数空间的重要性、提炼知识的细粒度以及参考数据集的数据分布，以达到所需细节级别，从而精准解决上述核心困境。为充分验证该策略的临床价值，我们设计了更严谨的医疗通用任务增量学习（MGTIL）基准。该基准旨在同时评估模型适应显著领域迁移、保留细微模内特征以及实时学习新型复杂医疗任务的能力。大量实验结果表明，我们的方法在所有指标上均实现了最先进（SOTA）性能。代码已提供于补充材料中。
引用
@article{arxiv.2512.13072,
title = {Forging a Dynamic Memory: Retrieval-Guided Continual Learning for Generalist Medical Foundation Models},
author = {Zizhi Chen and Yizhen Gao and Minghao Han and Yizhou Liu and Zhaoyu Chen and Dingkang Yang and Lihua Zhang},
journal= {arXiv preprint arXiv:2512.13072},
year = {2025}
}