G2L：从吉级规模到癌症特定大规模病理基础模型通过知识蒸馏

最近的病理基础模型研究表明，扩大训练数据、多样化癌症类型以及增大模型规模均一致地提高了其性能。然而，吉级规模的基础模型是在数十种癌症类型上覆盖数十万张切片，包含数十亿参数的模型，对实际应用在开发和部署方面提出了巨大的计算成本挑战。本文提出了一种新策略，称为 G2L 框架，通过知识蒸馏增加大规模基础模型的性能，该框架仅包含吉级规模模型的 $15\%$ 参数，即可在癌症特定任务中达到吉级规模模型的 comparable performance。我们的做法应用知识蒸馏，将吉级规模模型的能力传递给大规模模型，只需针对特定癌症（如乳腺癌、前列腺癌等）的 1K 张病理切片。生成的蒸馏模型不仅在多个基准测试中超越了相同规模的SOTA模型（即大规模模型），而且，令人惊讶的是，在某些基准测试中还超越了吉级规模教师和巨型规模模型。此外，蒸馏模型表现出更高的鲁棒性指数，表明其对来自多个机构的图像变异具有更好的韧性。这些发现表明，所提出的蒸馏方法对于大规模模型是一种数据和参数高效的方式，可在无需巨大计算负担的情况下，为癌症特定应用实现吉级规模水平的性能。