整张切片图像能揭示什么？用于病理图像描述的亚型引导掩码Transformer
计算机视觉与模式识别
2023-11-01 v1 人工智能
摘要
全切片图像（WSI）的病理描述虽然在计算机辅助病理诊断中至关重要，但由于数据集与模型训练效率的限制，鲜有研究。本文提出一种基于Transformer的病理描述新范式——亚型引导掩码Transformer（SGMT），其将WSI视为稀疏图像块序列，并从该序列生成整体描述语句。SGMT中引入伴随的亚型预测以引导训练过程并提升描述准确性。我们还提出一种非对称掩码机制以应对病理图像描述的大尺寸约束，其中SGMT在训练与推断阶段分别采用不同数量的序列图像块采样。在PatchGastricADC22数据集上的实验表明，我们的方法能有效适配该任务且基于Transformer的模型优于传统RNN-based方法。我们的代码将公开以供进一步研究与开发。
引用
@article{arxiv.2310.20607,
title = {What a Whole Slide Image Can Tell? Subtype-guided Masked Transformer for Pathological Image Captioning},
author = {Wenkang Qin and Rui Xu and Peixiang Huang and Xiaomin Wu and Heyu Zhang and Lin Luo},
journal= {arXiv preprint arXiv:2310.20607},
year = {2023}
}