重新思考用于长上下文组织学全切片图像分析的变换器

组织学全切片图像（WSI）分析是医生日常工作中用于临床癌症诊断的金标准。为了开发针对 WSIs 的计算机辅助诊断模型，先前方法通常采用多实例学习以仅凭切片级别标签实现切片级别预测。在这些模型中，传统上使用的注意力机制缺乏成对互动，无法建模上下文信息。更近期地，已利用自注意力模型来解决此问题。为了缓解大型 WSIs 中长序列的计算复杂度，诸如 HIPT 使用区域切片，TransMIL 采用全自注意力的近似。两种方法都因信息关键部分丢失而表现次佳。此外，他们使用的绝对位置嵌入在处理形状变化的 WSIs 时难以有效处理长范围上下文依赖关系。在本文中，我们首先分析了长序列注意力矩阵的低秩性质如何限制 WSIs 建模的表示能力。随后，我们展示注意力矩阵的秩可通过聚焦局部互动来提升。我们的分析表明，局部掩码与变换器下层注意力模式一致。进一步，局部注意力掩码可在分块注意力计算期间实现，从而将二次计算复杂度降低为线性，同时保持较小的局部带宽。基于此，我们提出一种用于计算加速和局部-全局信息互动建模的局部-全局混合变换器。我们的方法称为长上下文 MIL（LongMIL），通过在 various WSI 任务上进行大量实验进行评估，以验证其优势。我们的代码将在 github.com/invoker-LL/Long-MIL 上提供。