医学基础模型的低秩知识分解

大规模预训练的普及推动了医学基础模型的发展。然而，一些研究表明，尽管基础模型表现出强大的通用特征提取能力，但它们在特定任务上的性能可能不如任务特定的方法。在本文中，我们探索了一种名为“知识分解”的新视角，以提高特定医学任务的性能，该方法将基础模型分解为多个轻量级专家模型，每个模型专门负责一个特定任务，旨在提高专业性的同时减少资源消耗。为实现上述目标，我们设计了一个新颖的框架，称为低秩知识分解（LoRKD），该框架通过引入低秩专家模块和高效的知识分离卷积来明确分离梯度。大量实验结果表明，分解后的模型在性能和可迁移性方面表现良好，甚至优于原始基础模型。