MECFormer：基于专家咨询网络的多任务全切片图像分类

全切片图像（WSI）分类是癌症诊断在临床和医院中的关键问题。WSI 以Gigapixel级尺寸获取，通常被切分为若干块并由基于多实例学习（MIL）的模型处理。以往针对该问题设计的 MIL 模型仅在特定器官的单个任务上进行评估，尚未探讨单一模型能否处理多个任务。本文提出 MECFormer，一种基于生成式 Transformer 的模型，旨在单一模型中处理多个任务。为充分利用多任务同步学习的优势并提升模型在每个独立任务上的效果，我们引入了专家咨询网络（Expert Consultation Network），即置于 Transformer 模型开头的投影层。此外，为实现灵活的分类，采用语言解码器引入自回归解码。通过在包含四种不同器官、一个癌症分类任务和四个癌症亚型任务的五个数据集上的大量实验，MECFormer 在性能上显著优于单个最先进的多实例学习模型。