利用大规模视觉-语言模型改进组织病理学图像中的有丝分裂检测
计算机视觉与模式识别
2023-10-12 v1
摘要
在某些类型的癌组织中，有丝分裂计数已被证明与肿瘤增殖、不良预后和治疗抵抗相关。由于病理学家对有丝分裂计数的高评分者间变异性，卷积神经网络（CNNs）已被用于减少苏木精-伊红（H&E）染色的全切片图像中有丝分裂检测的主观性。然而，大多数现有模型的性能落后于专家小组评审，且仅纳入视觉信息。在本工作中，我们证明了利用视觉特征和自然语言的大规模预训练视觉-语言模型能够提高有丝分裂检测准确率。我们通过将肿瘤和扫描仪类型等元数据作为上下文，将有丝分裂检测任务构建为图像描述任务和视觉问答（VQA）任务。我们使用来自公开可用的有丝分裂域泛化挑战赛（MIDOG22）数据集的 9,501 个有丝分裂图和 11,051 个困难负样本（难以表征的非有丝分裂图），通过与各种基线模型比较，证明了我们流程的有效性。
引用
@article{arxiv.2310.07176,
title = {Improving mitosis detection on histopathology images using large vision-language models},
author = {Ruiwen Ding and James Hall and Neil Tenenholtz and Kristen Severson},
journal= {arXiv preprint arXiv:2310.07176},
year = {2023}
}
备注
Submitted to IEEE ISBI 2024. Under review