EXAONEPath 1.0:病理学切片级基础模型
机器学习
2024-08-23 v3 人工智能
计算机视觉与模式识别
摘要
数字病理学的最新进展催生了众多利用从千兆像素全切片图像(WSIs)中提取的切片进行自监督学习的基础模型。尽管这种方法利用了大量无标签数据,但我们发现了一个严重问题:从这些自监督模型中提取的特征倾向于按单个WSI聚类,我们称之为WSI特异性特征坍塌。这一问题可能限制模型的泛化能力和在各种下游任务上的性能。为了解决这一问题,我们引入了EXAONEPath,这是一种在经过染色归一化处理的切片上训练的新型基础模型。染色归一化有助于减少不同实验室和扫描仪引起的颜色变异性,使模型能够学习更一致的特征。EXAONEPath使用从总共34,795张WSIs中提取的285,153,903个切片进行训练。我们的实验表明,EXAONEPath显著缓解了特征坍塌问题,表明该模型学习到了更具泛化性的特征,而非过拟合于单个WSI的特性。我们在六个下游任务数据集上将EXAONEPath与最先进模型进行了比较,结果表明EXAONEPath在使用WSI数量和模型参数数量方面均取得了优越性能。这表明染色归一化的应用显著提高了模型的效率和泛化能力。
引用
@article{arxiv.2408.00380,
title = {EXAONEPath 1.0 Patch-level Foundation Model for Pathology},
author = {Juseung Yun and Yi Hu and Jinhyung Kim and Jongseong Jang and Soonyoung Lee},
journal= {arXiv preprint arXiv:2408.00380},
year = {2024}
}
备注
License updated