LoRKD：面向医学基础模型的低秩知识分解

大规模预训练技术的广泛采用显著推动了医学基础模型的发展，使其能够作为通用工具应用于广泛的医学任务。然而，尽管医学基础模型具有强大的泛化能力，但正如先前研究所证明的，在大规模数据集上预训练的医学基础模型往往会受到异构数据之间领域差距的影响，导致在特定任务上的性能不如专家模型。在本文中，我们探索了一种称为“知识分解”的新视角，以提高特定医学任务的性能，该方法将基础模型分解为多个轻量级专家模型，每个模型专注于特定的解剖区域，旨在增强专业化程度并同时减少资源消耗。为了实现上述目标，我们提出了一种名为低秩知识分解（LoRKD）的新框架，该框架通过引入低秩专家模块和高效知识分离卷积，显式地分离不同任务的梯度。低秩专家模块解决了来自不同解剖区域的异构数据之间的梯度冲突，以较低的成本提供了强大的专业化能力。高效知识分离卷积通过单次前向传播实现知识分离，显著提高了算法效率。在分割和分类任务上的大量实验结果表明，我们的分解模型不仅实现了最先进的性能，而且在下游任务上表现出优越的迁移能力，甚至在特定任务评估中超越了原始基础模型。代码可在此处获取。