超越多示例学习:全分辨率全内存端到端病理切片建模
图像与视频处理
2024-05-24 v2 计算机视觉与模式识别
摘要
人工智能(AI)通过在海量数字化临床数据集上训练系统,在改善健康状况方面具有巨大潜力。计算病理学凭借其海量的显微图像数据以及对诊断和生物标志物的影响,处于这一发展的前沿。吉像素级病理切片因其巨大的尺寸而构成独特挑战,通常被分割成数以万计的更小图块进行分析。这导致机器学习过程的不连续性,即将图块级编码器的训练与切片级聚合器的训练分离,并需要采用弱监督学习策略。由于其计算挑战,从整个病理切片端到端训练模型在很大程度上尚未被探索。为了克服这一问题,我们提出了一种新方法,在高分辨率下完全在内存中端到端联合训练图块编码器和切片聚合器,弥合输入与切片级监督之间的差距。尽管计算成本更高,但详细的定量验证显示了其在病理基础模型大规模预训练和微调方面的潜力。
引用
@article{arxiv.2403.04865,
title = {Beyond Multiple Instance Learning: Full Resolution All-In-Memory End-To-End Pathology Slide Modeling},
author = {Gabriele Campanella and Eugene Fluder and Jennifer Zeng and Chad Vanderbilt and Thomas J. Fuchs},
journal= {arXiv preprint arXiv:2403.04865},
year = {2024}
}