数字病理学中从简化模型提炼基础模型
计算机视觉与模式识别
2025-03-03 v3
摘要
近年来，数字病理学的基础模型（Foundation Model, FM）依赖于大规模预训练数据集和大型模型规模，虽然提升了在多样化下游任务上的性能，但也带来了更高的计算成本和推理时间。本文探索了将大型基础模型压缩至小型模型的技术，参数数量缩减数个数量级。利用蒸馏技术，我们的蒸馏模型 H0-mini 在推理成本显著降低的情况下，几乎达到大型 FM 的相当性能。它在多个公开基准测试中进行评估，在 HEST 基准测试中获得第三名，在 EVA 基准测试中获得第五名。此外，对 PLISM 数据集上的鲁棒性分析表明，我们的蒸馏模型在染色和扫描条件变化方面达到了优异的鲁棒性，显著优于其他最先进模型。这为设计无需牺牲性能的轻量级且鲁棒的数字病理学模型开辟了新思路。
引用
@article{arxiv.2501.16239,
title = {Distilling foundation models for robust and efficient models in digital pathology},
author = {Alexandre Filiot and Nicolas Dop and Oussama Tchita and Auriane Riou and Rémy Dubois and Thomas Peeters and Daria Valter and Marin Scalbert and Charlie Saillard and Geneviève Robin and Antoine Olivier},
journal= {arXiv preprint arXiv:2501.16239},
year = {2025}
}
备注
Preprint