基于局部注意力图的 Transformer 用于多靶点基因变异预测
计算机视觉与模式识别
2022-06-20 v2 机器学习
摘要
经典多示例学习（MIL）方法常基于实例间独立同分布假设，因而忽略了个体实体之外潜在丰富的上下文信息。另一方面，带有全局自注意力模块的 Transformer 已被提出用于对全部实例间的相互依赖建模。然而，本文提出质疑：使用自注意力的全局关系建模是否必要，或者我们能否在大规模全切片图像（WSIs）中将自注意力计算恰当地限制于局部区域？我们提出一种通用的基于局部注意力图的 MIL Transformer（LA-MIL），通过显式地在任意大小的适应性局部区域中对实例进行上下文化，引入归纳偏置。此外，高效适配的损失函数使我们的方法能够学习具表达力的 WSI 嵌入，用于多种生物标志物的联合分析。我们证明 LA-MIL 在胃肠癌突变预测中取得最先进（SOTA）结果，在如结直肠癌微卫星不稳定等重要生物标志物上优于现有模型。我们的发现表明局部自注意力足以建模与全局模块相当的依赖关系。我们的 LA-MIL 实现可在 https://github.com/agentdr1/LA_MIL 获取。
引用
@article{arxiv.2205.06672,
title = {Local Attention Graph-based Transformer for Multi-target Genetic Alteration Prediction},
author = {Daniel Reisenbüchler and Sophia J. Wagner and Melanie Boxberg and Tingying Peng},
journal= {arXiv preprint arXiv:2205.06672},
year = {2022}
}