Phikon-v2：一个用于生物标志物预测的大型公开特征提取器
图像与视频处理
2024-09-17 v1 人工智能
计算机视觉与模式识别
摘要
我们从超过100个公开可用的队列中收集组织病理学切片，编制了一个涵盖30多个癌症部位、包含4.6亿个病理图块的多样化数据集。利用该数据集，我们使用DINOv2训练了一个大型自监督视觉Transformer，并公开发布了该模型的一个迭代版本以供进一步实验，命名为Phikon-v2。尽管仅在公开可用的组织学切片上训练，Phikon-v2的性能超越了我们先前的发布模型（Phikon），并与在专有数据上训练的其他组织病理学基础模型（FM）表现相当。我们的基准测试包括八个切片级任务，结果在外部验证队列上报告，避免了预训练和评估数据集之间的任何数据污染。我们的下游训练流程遵循一种简单而稳健的集成策略，与一次性重训练相比，在不同任务和模型上平均AUC提高了1.75（p<0.001）。我们将Phikon（ViT-B）和Phikon-v2（ViT-L）与14种不同的组织学特征提取器进行了比较，使我们的评估成为迄今为止最全面的。我们的结果支持证据表明，DINOv2比iBOT更好地处理了模型和数据的联合扩展。此外，我们表明，在生物标志物预测的背景下，近期的扩展努力总体上有利于下游性能，其中GigaPath和H-Optimus-0（两个各含11亿参数的ViT-g）表现突出。然而，最新顶级基础模型之间的统计差异大多不显著；有些甚至在特定适应症或任务（如MSI预测）上表现不佳——被一个内部开发的、小13倍的模型所取代。虽然最新的基础模型在临床部署上可能表现出局限性，但它们为开发更专业、更具成本效益的组织学编码器提供了极好的基础，从而推动AI引导的诊断工具。
引用
@article{arxiv.2409.09173,
title = {Phikon-v2, A large and public feature extractor for biomarker prediction},
author = {Alexandre Filiot and Paul Jacob and Alice Mac Kain and Charlie Saillard},
journal= {arXiv preprint arXiv:2409.09173},
year = {2024}
}