WsiCaption:面向十亿像素全切片图像的报告多级生成
计算机视觉与模式识别
2024-06-28 v4 人工智能
计算与语言
摘要
全切片图像(Whole slide image, WSI)是数字病理学中用于癌诊断与治疗的基础。撰写病理报告对经验不足病理医生而言费力且易错。为减轻工作负担并提升临床自动化,我们探究如何根据全切片图像生成病理报告。在数据端,我们构建了最大的 WSI-文本数据集(PathText)。具体而言,我们通过识别并清洗 TCGA 中叙述诊断切片病理报告,收集近 10000 对高质量 WSI-文本对用于视觉语言模型。在模型端,我们提出多级生成模型(Multiple Instance Generative model, MI-Gen),可为十亿像素 WSI 生成病理报告。我们在 TCGA-PathoText 最大子集上基准测试模型。实验结果表明,我们的模型能生成含多种临床线索的病理报告,并在特定切片级任务上取得有竞争力性能。我们观察到,从病理报告中简单语义提取可在 BRCA 分型上取得最佳性能(F1 分数 0.838),超越先前最先进方法。我们收集的数据集与相关代码已公开。
引用
@article{arxiv.2311.16480,
title = {WsiCaption: Multiple Instance Generation of Pathology Reports for Gigapixel Whole-Slide Images},
author = {Pingyi Chen and Honglin Li and Chenglu Zhu and Sunyi Zheng and Zhongyi Shui and Lin Yang},
journal= {arXiv preprint arXiv:2311.16480},
year = {2024}
}