CanvOI，一种肿瘤学智能基础模型：以不同方式扩展 FLOPS
图像与视频处理
2024-09-05 v1 计算机视觉与模式识别
摘要
快速发展的数字肿瘤病理学领域面临重大挑战，包括需要解决多样且复杂的临床问题，这些问题通常涉及罕见病症，且标记数据有限。这些限制阻碍了生物医学领域稳健的 AI 驱动工具的开发，而在该领域中，概率判定的准确性至关重要。为解决这一问题，数字病理学基础模型开始涌现，其开发通常考虑到预训练数据集的规模与多样性以及模型参数。在此，我们提出 CanvOI，一种基于 ViT-g/10 的基础模型，旨在通过一种不同的方法解决这些挑战，从而增强数字病理学的能力。考虑到肿瘤组织病理学图像的独特性质，以及嵌入需为多实例学习（MIL）下游模型提供有意义表示的要求，我们选择修改输入图像特征。通过引入更大的切片尺寸（380 x 380 像素）和更小的块尺寸（10 x 10 像素），我们优化了模型性能，将计算资源推向新方向，并在癌症相关基准测试中取得了 SOTA 性能。与其他为数字病理学构建的领先基础模型相比，CanvOI 的平均 AUC 提升了 1.5-7.4%。此外，我们的结果表明，CanvOI 显著优于其他模型，且在仅使用初始队列 10% 的数据进行训练时，性能差距进一步扩大。这项工作凸显了一种替代方法，若与传统开发方法相结合，有望推动肿瘤学智能（OI）的发展，克服当前的部分障碍，并最终改善癌症患者的临床结局。
引用
@article{arxiv.2409.02885,
title = {CanvOI, an Oncology Intelligence Foundation Model: Scaling FLOPS Differently},
author = {Jonathan Zalach and Inbal Gazy and Assaf Avinoam and Ron Sinai and Eran Shmuel and Inbar Gilboa and Christine Swisher and Naim Matasci and Reva Basho and David B. Agus},
journal= {arXiv preprint arXiv:2409.02885},
year = {2024}
}
备注
12 pages, 5 figures