面向计算病理学的视觉-语言基础模型
计算机视觉与模式识别
2023-07-26 v2 人工智能
摘要
数字病理学的加速普及与深度学习的进展，使得针对多种疾病和患者队列中各类病理任务开发强大模型成为可能。然而，模型训练常因医学领域标签稀缺而困难，且模型用途受限于其所训练的特定任务与疾病。此外，组织病理学中的多数模型仅利用图像数据，这与人类相互传授和推理组织病理实体的方式形成鲜明对比。我们提出CONCH（CONtrastive learning from Captions for Histopathology，基于说明文字的对比学习组织病理学模型），一种利用多样组织病理学图像、生物医学文本源，并通过任务无关预训练显著使用逾117万图像-说明文字对的视觉-语言基础模型。在13个多样基准上的评估表明，CONCH可迁移至涉及组织病理学图像和/或文本的广泛下游任务，在组织学图像分类、分割、说明文字生成、文本到图像与图像到文本检索上取得最先进（SOTA）性能。CONCH相较并发的组织病理学视觉-语言预训练系统实现重大飞跃，有望直接促进大量基于机器学习的流程，仅需极少或无需进一步监督微调。
引用
@article{arxiv.2307.12914,
title = {Towards a Visual-Language Foundation Model for Computational Pathology},
author = {Ming Y. Lu and Bowen Chen and Drew F. K. Williamson and Richard J. Chen and Ivy Liang and Tong Ding and Guillaume Jaume and Igor Odintsov and Andrew Zhang and Long Phi Le and Georg Gerber and Anil V Parwani and Faisal Mahmood},
journal= {arXiv preprint arXiv:2307.12914},
year = {2023}
}