用于疾病持续学习的预训练特征提取器中的适配器学习

当前智能诊断系统缺乏在部署后持续学习诊断新疾病且保留旧疾病知识的能力。特别地，用新疾病训练数据更新智能诊断系统会导致对旧疾病知识的灾难性遗忘。为解决灾难性遗忘问题，提出一种基于适配器的持续学习框架 ACL，以在每轮（或任务）持续学习中有效学习一组新疾病，且不改变共享特征提取器。可学习的轻量级任务特定适配器可灵活设计（如两个卷积层）并添加至预训练且固定的特征提取器。结合专门设计的任务特定头——其将所有先前学习的旧疾病吸收为单一“分布外”类别——任务特定适配器可帮助预训练特征提取器更有效提取疾病间的判别特征。此外，应用一种简单而有效的微调来协作微调多个任务特定头，使不同头的输出具有可比性，从而在模型推理时更准确地选择合适的分类器头。在三个图像数据集上的大量实证评估证明了 ACL 在新疾病持续学习中的优越性能。源代码见 https://github.com/GiantJun/CL_Pytorch。